Tavaly ősszel mutatta be a cég a Pinot névre keresztelt valós idejű analitikát segítő eszközt, és most kiadta a nyílt forráskódú változatot is.

Tavaly februárban egy olyan szolgáltatással jelentkezett a LinkedIn, ami még inkább megerősítette "céges fészbuk" pozícióját. A Who's Viewed Your Profile szolgáltatással résztelesen elemezhetővé vált, hogy kik és miért nézik meg a profilunkat (a szolgáltatást később bevezették a bejegyzésekre is). Ez még a végfelhasználóknak is érdekes lehet, ha figyelemmel akarják követni a "kukkolóikat", de még fontosabb a szakmai holdudvart, komolyabb méretű, de nem a facebooki értelemben vett rajongói bázist építő cégeknek.

A szolgáltatás bejelentésekor a LinkedIn csupán annyit ígért, hogy a szolgáltatáshoz kapcsolódó vizuális analitikai megoldásokkal a felhasználók tisztább képet alkothatnak majd arról, kik, milyen iparágakból és pozíciókból voltak kíváncsiak az adatlapjukra. Kétségtelenül jó ötlet. Ám mint hamarosan kiderült, ez meglehetősen erőforrás-igényes, és nagyon leterheli a szakmai közösségi oldal rendszereit. Új módszerekhez kell tehát folyamodni.

Skálázhatóság valós időben

A tömegeket vonzó nagy webes rendszerek egyik kulcsfontosságú eleme, hogy a szolgáltatásaikat kiszolgáló háttérrendszereknek jól skálázhatónak kell lenniük. A Facebook sem úgy kezdte, hogy néhány éven belül milliárdos felhasználói tábora lesz, tehát ahhoz kell méretezni a rendszereit. Olyan megoldást kellett találni, ami a felhasználó tábor gyarapodásának függvényében nagyon gyorsan és rugalmasan lehetett a rendszerek képességeit bővíteni.

A LinkedIn erre tett még egy lapáttal, amikor a Who's Viewed Your Profile szolgáltatással lehetővé tette a valós idejű analitikát a felhasználóinak. Ez még akkor is komoly feladatot jelentett, ha a szolgáltatást csak az oldal fizető felhasználói érhetik el, míg az ingyenes alapcsomagot használók az utolsó öt személyig nézhetik az utánuk érdeklődőket.

A fejlesztők arra kerestek megoldást, hogy kezelhetővé tegyenek napi több milliárd eseményt, és másodpercenként mintegy 1000 lekérdezést tudjanak kiszolgálni. Ehhez kellett egy hibatűrő és magas rendelkezésre állású rendszer, amely alacsony késleltetéssel tudja kiszolgálni a lekérdezéseket a legfrissebb adatokkal. Ehhez fejlesztették ki a Pinot rendszert.

Nehéz munka, de megéri

De miért Pinot-nak nevezték a rendszert? Egyrészt azért, mert a fejlesztő csapat tagjai szeretik a pinot noirt. Van azonban egy másik ok is: a pinot noir szőlőfajtát nagyon nehéz termelni, és nehéz belőle jó bort készíteni, de ha valaki nem sajnálja a fáradtságot, izgalmas, komplex bor lesz a jutalma. Ugyanilyen az adatelemzés is: nehéz munka, de elképesztően hasznos – írja a projekt műszaki vezetője, Kishore Gopalakrishna.

A rendszer tárolja a LinkedIn felhasználók bejegyzéseit, ráadásul úgy, hogy automatizálja a friss és historikus adatok kezelését. Előbbihez a Hadoopot, utóbbihoz pedig az Apache Kafka rendszert (ez az Apache licencelésű open source eszköz eredetileg szintén LinkedIn-fejlesztés volt).

A Pinot felépítése

Az oldal hivatalos blogján megjelent bejegyzés szerint jelenleg mintegy 25 analitikai terméket szolgál ki a Pinot, a Who's Viewed Your Profile mellett a Who Viewed My Posts-ot, valamint a munkaerő-toborzáshoz kötődő szolgáltatásokat és az állásajánlatokhoz kötödő hirdetések célzottabb, hatékonyabb elhelyezését is.

És hogy mennyire működik hatékonyan? A nemzetközi fejvadász cégek akár azonnal értesülhetnek arról, ha valaki olyan skillekkel, képzéssel stb. frissítette a profilját, amely megfelel valamely nyitott pozíciónak, így azonnal tudnak reagálni. Ez akkor, amikor egyre égetőbb probléma a szakemberhiány Nyugat-Európában, és a fejvadász cégek egyre gyakrabban egymás elől kénytelenek elhalászni a szakembereket.