iPon Hírek

MIT: néha jobb választás a NAND Flash, mint a DRAM

Dátum | 2015. 07. 16.
Szerző | J.o.k.e.r
Csoport | ADATTÁROLÁS

Az MIT kutatói szerint a nagy mennyiségű adat elemzésével foglalkozó szervereknél és szerverfürtöknél gyakran okoz nehézséget, hogy az elemzésre váró adatmennyiség egyszerűen nem fér el a rendszermemóriában. A kutatók tavaly úgy gondolták, ideje valamit kezdeni a helyzettel, így kísérletezni kezdtek, a vizsgálatok pedig a friss bejelentés szerint meglepő eredménnyel zárultak: egyes terhelésformák esetén a DRAM-ot hatékonyan ki lehet váltani NAND Flash alapú tárhellyel, igaz, ehhez speciális szoftver- és hardverkörnyezetre van szükség.
A kutatók a vizsgálódást a BlueDBM névre keresztelt kísérleti szerverfürtön végezték el, ami több szempontból is igazi különlegesség. A BlueDBM egy speciális, NAND Flash alapú adattároló-hálózatra támaszkodik, amelyben a NAND Flash memóriachipek vezérléséről, valamint a különböző részegységek közötti kommunikációról speciális, programozható célhardver gondoskodik. Az FPGA chipek és a NAND Flash alapú tárhely együttműködésével két legyet ütnek egy csapásra: a nagy mennyiségű adatokkal dolgozó rendszer nem csak olcsóbb, de kevesebbet is fogyaszt, mint a tradicionális, DRAM alapú konfigurációk. Az MIT szerint a kísérleti szerverfürtben használt NAND Flash alapú rendszer tizedannyiba kerül, mint a DRAM, és fogyasztása is csak nagyjából tizednyi. Sajnos a rendelkezésre álló adatátviteli sávszélesség is nagyjából a tizede a DRAM-énak, de vannak olyan terhelésformák, amelyeknél így is jelentős előnyt kínálhat a speciális, tisztán NAND Flash alapú rendszer. A BlueDBM mögött húzódó architektúra a kutatók korábbi, az elosztott számítási teljesítménnyel kapcsolatos megfigyeléseiből táplálkozik, így hatékonyan tud dolgozni. A megfigyelés lényege, hogy ha a szerverfürtben lévő egyik alrendszernek akár csak az idő 5%-ában is adatot kell kérnie a merevlemezről, a munkafolyamat összesített teljesítménye azonnal arra a szintre csökken, amit a kísérleti, kizárólag NAND Flash alapú tárhelyre támaszkodó szerverfürt is biztosítani tud, így a kísérleti szerver előnybe kerül, hisz olcsóbban, alacsonyabb fogyasztás mellett végzi a munkát.
A kutatók szerint egy 40 szerverből álló, 10 TB-nyi rendszermemóriával rendelkező szerverfürt nem tud jobban helytállni egy 10,5 TB-nyi adat elemzésével kapcsolatos munkafolyamatban, mint egy 20 szerverből álló, 20 TB-nyi NAND Flash alapú tárhellyel ellátott szerverfürt, ami egyébként töredéknyi fogyasztás mellett végzi el ugyanazt a munkát. A kísérleti szerverfürt speciális FPGA chipekre támaszkodott, amelyek igény szerint programozhatóak, így könnyedén alkalmazkodnak a különböző terhelésformák extra igényeihez. Az egyes FPGA chipek meglehetősen komplex feladatkört láttak el a konfigurációban: mindegyiküknek 2 x 500 GB-nyi NAND Flash alapú tárhelyet kellett hatékonyan vezérelni, valamint a két szomszédos rackben található FPGA chipekkel is kommunikálniuk kellett. Gyakorlatilag az FPGA-k biztosították azt, hogy a rendszer bármelyik NAND Flash alapú tárhelyhez hamar hozzáférhessen.
A programozható FPGA chipek az alkalmazás-specifikus alapprogramnak megfelelően képesek némi elő-adatfeldolgozásra a tárhelyről kinyert tartalmak esetében, ami jelentősen javítja a munkafolyamat hatásfokát. A szerverfürtöt többféle terhelésformával is hatékonyan tesztelték: helytállt kép alapú keresésnél, webes keresés relevancia alapú rangsorolásánál, illetve ún. Memcached munkafolyamatnál is, ami nagy adatbázisokkal dolgozó weboldalak gyakran használt adatainak gyors kiszolgálását jelenti. A speciális architektúra a jelek szerint megfelelő finomhangolás után többféle munkafolyamat esetében is eredményesen használható költséghatékony, energiatakarékos megoldásként. A témában további részleteket itt találnak az érdeklődők.
Új hozzászólás írásához előbb jelentkezz be!

Eddigi hozzászólások

4. MassKilla
2015.07.16. 14:47
hát csak gyanítom ezeket dobhatnák ki elég hamar...az ssd-knek 150-300TB-nyi teleírási élettartamuk van, tehát ha teszem azt összefűznek 20TB-nyi 500gigásat, az 40 ssd x 300 tera = maximum 12 petabájt adat feldolgozására lesz elég, ami szerver környezetben kb egy uzsonna...azért a ramoknak szerintem lényegesen hosszabb az élettartama, nem használódnak el úgy....még ha drágábbak is...hosszútávon lehet nem hoz annyi előnyt
 
Válasz írásához előbb jelentkezz be!
3. djkissmrt MassK...
2015.07.16. 21:29
Ott a pont!
 
Válasz írásához előbb jelentkezz be!
2. BiroAndras MassK...
2015.07.17. 18:09
Itt nyílván szerverbe való SSD-ről van szó, azok kicsit többet bírniak. Pl. : http://www.samsung.com/global/business/semiconductor/minisite/SSD/global/html/ssd845dcpro/overview.html
"10 Drive Writes per Day (DWPD) over a five-year warranty period"
 
Válasz írásához előbb jelentkezz be!
1. KatonaKM
2015.07.19. 08:43
Ez jól hangzik. Minek mindig rohanni, egy pénzügyi elemzés vagy tudományos számítás ráér tízszer annyi idő alatt is kiszámolódni.
Sőt, az első szerverek memóriája is egy mágnesdobon helyezkedett el, közelítünk a kezdetekhez
 
Válasz írásához előbb jelentkezz be!