A big data piac óriási adatmennyiségei jelentette kihívásokkal és lehetőségekkel ma már igen sok szervezet néz szembe. Miután fokozatosan nő az igény az adatok gyors elemzésére – jellemzően a döntéshozás és a folyamatok fejlesztéséhez, az összefüggések megkereséséhez és kiaknázásához – a nyomás hatására számos szervezet a meglévő analitikai architektúrájuk bővítése mellett döntött. A vállalatok nyitnak az új technológiák és módszerek felé, hogy elérhetővé váljon számukra az, amit ma „big data elemzés”-ként ismerünk.

A trenddel együtt haladó szervezetek olyan fejlett elemzőplaformot keresnek és választanak, amely képes egyesíteni az analitikai feldolgozást a big data adattárolási igényeivel. Ez a megoldás olyan új típusú adatelemzéseket eredményez, amelyben az adattípusok száma és az adatok mennyisége is óriási méretű lehet. Az adatok és az analitikai feldolgozás egyetlen platformba integrálása megszünteti az adatok adattárházból való kimozgatásával járó többletmunkát és átfutási időt. Ezen felül a célorientált analitikus feldolgozó motor megfelelő teljesítményt és rugalmasságot biztosít az új típusú elemzések elvégzéséhez.

Mélyebb betekintésre tervezve

A masszív adatnövekedés és a mélyebb, gazdagabb tartalmú adatelemzés igénye már túlfeszítik egy hagyományos rendszer lehetőségeit. A teljesítmény, skálázhatóság és kezelhetőség mai elvárásai olyan új architektúrát követelnek, amely több terabájtnyi adatokon történő ultragyors elemzésekhez nyújt megfelelő analitikai platformot. A Teradata Aster pontosan az ilyen típusú big data elemzésekre fejlesztette ki az analitikai platformját. A technológia három alappillére: 

Masszív párhuzamos feldolgozás ■ Az óriási adatmennyiségek a platformon belül kerülnek letárolásra, hogy ne legyen szükség extraadatmozgatásra. Az integrált adattárolás relációs architektúrája akár többszörösen összetett, struktúra nélküli adatokat tartalmazó állományok feldolgozására is bővíthető. A platform natív SQL támogatást biztosít, így az adatok hagyományos eszközökkel, SQL programozás útján is hozzáférhetők.

Az Aster Data nCluster masszív párhuzamos adatfeldolgozásával hatalmas adatmennyiségek rendkívül gyorsan kielemezhetők. A szoftveres megoldás egyik rendszereleme a MapReduce analitikai feldolgozóegység, amely az új adatforrások és -típusok mélyebb összefüggéseit is képes feltárni, nagy teljesítmény és bővíthetőség mellett. A gyors feldolgozás érdekében az nCluster adatbázison belül tárol és dolgoz fel minden információt. 

Beágyazott analitikai feldolgozás ■ A platform MapReduce alapú beágyazott analitikai feldolgozóegysége egymással összefüggő, bonyolult elemzések lefuttatására képes. A feldolgozóegyéggel egyedi és összetett analitikák is végrehajthatók, az Aster Data szabadalmaztatott SQL MapReduce párhuzamos feldolgozó keretrendszerének köszönhetően.

Más MapReduce módszerektől eltérően ez a keretrendszer a MapReduce és az SQL szoros integrálását hajtja végre, így a legkülönbözőbb programnyelveken megírt – például C, C++, Java, .NET, Perl, Python vagy R nyelvű – elemzések közvetlenül meghívhatók hagyományos SQL utasítással, bonyolult szkriptek vagy feladatkezelő alkalmazások nélkül is. Az SQL lekérdező, szűrő és adatkezelő funkcióival adatokat szolgáltathatunk a MapReduce feladatokhoz, hagyományos SQL parancsok kiadásával. Ezen feladatok eredményei ugyanígy letárolhatók, manipulálhatók és kezelhetők SQL-ből.

Az SQL-MapReduce nemcsak elemző funkciókat biztosít, hanem a platformba beágyazható komplett analitikai könyvtárakat és alkalmazásokat is, amelyek ott párhuzamosan futathatók és mások által újra felhasználhatóak.

Gyors alkalmazásfejlesztési eszközök ■ Teradata Aster eszközeivel a legkülönbözőbb elemzések gyorsan, lépésről lépésre iterálva felépíthetők. Az Aster Data Developer Express egy SQL-MapReduce analitikák fejlesztésére, tesztelésre és üzemeltetésére kidolgozott intuitív, Eclipse alapú integrált környezet. A fejlesztők varázslók segítségével készíthetnek egyedi SQL-MapReduce funkciókat, alkalmazhatnak különféle forrásokból származó könyvtárakat, tesztelhetik a funkciókat a helyi gépen, végül éles üzembe állíthatják őket a Teradata Aster rendszerén.

Rendelkezésre áll továbbá egy minták, idősorok, statisztikák, adatfürtök és szövegek elemzésére szolgáló, előre elkészített analitikai funkciókészlet is. A funkciókészlet kitesztelt és optimalizált SQL-MapReduce funkciói egyszerűsítik az új SQL-MapReduce elemzési feladatok kifejlesztését.


A Teradata Aster MapReduce platformja további növeli az értékét a szervezet beruházásainak és alkalmazásainak egy Teradata alapú adattárház környezetben A platform többféle technológia együttműködésével igen hatékonyan szolgálja ki az elemzők és adatszakértők iteratív adatfeltárási igényeit, míg maga az adattárház a szokásos üzleti folyamatok stratégiai és operatív elemzéseit szolgálja ki.A Teradata Aster MapReduce platform teljes adatállományokat elemez a rejtett összefüggések feltárására a következő képességekkel:

■ Hatalmas mennyiségű, többszörösen összetett adathalmazokra szánt elemzések végrehajtása. A platform lehetővé teszi óriási méretű struktúrált vagy többszörösen struktúrált adathalmazok, például internetes naplófájlok, mobil adatok és hitelkártya tranzakciós rekordok elemzését. A különféle adattípusokból álló állományokkal a korábbiaknál sokkal pontosabb adatmodellek építhetők fel.

■ Nagy teljesítményű, rugalmasan használható beágyazott analitikai feldolgozóegység. A MapReduce feldolgozóegység támogatja a leggyakrabban használt programnyelveket. Ennek köszönhetően jól felépíthető és könnyen módosítható számos bonyolult algoritmus, például a csalási kísérletek felderítésére megírt eljárások.

■ Intelligens elemzések végrehajtása. Az SQL-MapReduce analitikáival készen kapunk olyan SQL-lel egyébként nehezen felépíthető és méretezhető, de a big data világában nélkülözhetetlen módszereket, mint például a minta- és gráfelemzés. Ezek az analitikai platformon belül közvetlenül feldolgozhatóak a megfelelő eredmények elérése érdekében figyelembe véve a méretezési és teljesítmény szempontokat is. (A fenti ábra kattintásra nagyítható.)

A nyers adatok jellemzően a MapReduce platformba töltődnek be, itt történik az egyedi összefüggések feltárása. Ezután a rendszer összefűzi az eredményeket és az adattárházba integrálja a nagysebességű Teradata-Aster adapter használatával. Az elemzési eredmények adattárházba való integrálásával a korábbiaknál még szofisztikáltabb üzleti kérdésekre kaphatunk választ. (Lásd az ábrát.)

A Teradata Aster platform páratlan adatelemző képességeket biztosít és magába foglalja az adattárházakban tipikusan ritkán előforduló többszörösen struktúrált adatok kezelését is. A beágyazott feldolgozóegység használatával teljesen újszerű elemzéseket hajthatunk végre ezeken az adatokon. A feltáró elemzések során kapott összefüggések beintegrálásra kerülnek az adattárházba, amelyek elérhetőek lesznek a szokásos stratégiai és operatív elemzésekhez. Az adattárház lehetővé teszi a feltárt összefüggések elérését az elemzők és felhasználók számára, akik ebből versenyképes előnyt kovácsolnak a vállalat számára.

A szerző, Mayank Bawa az Aster Data alapító tagja és a Teradata Aster Center of Innovation fejlesztési igazgatója.