A Salesforce rendszerében a múlt pénteken álltak fejre a dolgok, ennek eredményeképpen pedig a cég több ezer európai és észak-amerikai ügyfele napokig képtelen volt belépni egyes szolgáltatásokba. A Salesforce Marketing Cloudnál és a Pardot B2B marketing-automatizálási eszközénél tapasztalható fennakadás a beszámolók szerint egy rosszul sikerült adatbázis szkript futtatásának eredménye volt, amelynek nyomán az érintett (jelenlegi vagy korábbi) felhasználók olvasási és írási jogot kaptak a szolgáltatásokat igénybe vevő vállalatuk teljes adatállományára, tekintet nélkül a jogosultságok személyre szabott beállításaira.

A Salesforce gyorsan reagált, és azonnal felfüggesztette a felhasználók hozzáférését a rendszerhez – ez persze a Marketing Cloud szolgáltatások integrációjából következően azt is jelentette, hogy a szolgáltatás megszakítása olyan ügyfelekre is kiterjedt, akiknek egyébként nem sok közük lett volna a Pardot funkcióihoz. A leállás első körben 15 órán keresztül volt tapasztalható. Ezután az adminisztrátorok már újra be tudtak jelentkezni, és elkezdték a példányok fokozatos visszakapcsolását, hogy a jogosultásgokat egymás után, manuálisan visszaállítgathassák.

Azért nem mindenki elégedett

A hétvégén a Salesforce-nál elkészült és lefutott egy olyan szkript, amely elvileg a backup alapján automatikusan helyreállította volna a megfelelő engedélyeket, ez azonban nem minden esetben működött: a The Register riportja szerint annyira nem, hogy alkalmanként éppen az olvasási-írási jogosultságot adta vissza azoknak, akiknek egyszer már rendbe tették a fiókját. Hétfő reggelre a Salesforce szolgáltatásai már a legtöbb érintett ügyfélnél működtek, de a vállalat elismerte, hogy a problémát még nem sikerült száz százalékosan megoldani, a nap folyamán több ezer bejelentést kaptak a leállásokról és a hibás működésről.

A lap beszámolója alapján a Salesforce, bár a legfelsőbb szintről kért bocsánatot az ügyfelektől és biztosította őket a hibák mielőbbi kiküszöböléséről, mégsem kommunikált megfelelően: a hétvégi frissítések után beözönlő ticketekre egyfajta "rádiócsenddel" válaszolt, lemondott és odébb helyezett egy tervezett konferenciahívást is, sőt a társaság szóvivője a The Register érdeklődésére csak a Salesforce megfelelő ellenőrző oldalaira mutogatott, ahol nyomon lehet követni az aktuális leállásokat, és el lehet olvasni, hogy a problémák "jelenleg is fennállnak".

Az egyik külső Salesforce-fejlesztőnél összegyűjtötték és egy Google dokumentumban a lap rendelkezésére bocsátották a keddi konferenciahívásokat és üzeneteket, elfogadhatatlannak nevezve, hogy a szolgáltató egy ilyen komoly fennakadás nyomán ennyire a sötétben tartja az ügyfeleket, akik dolgozni sem tudnak az instance-ek elérésének hiányában. Az analitikai eszközökhöz, címjegyzékekhez, tartalmakhoz és általában a szükséges adatokhoz való hozzáférés megszakítása ugyanis nyilvánvalóan lenullázta az értékesítők és marketingesek munkáját.

A felhőben sem árt az óvatosság

Az incidens jól példázza, hogy a vállalati informatikában a külső és a belső folyamatokat egyszerre és alapvető módon érintheti bármilyen hasonló leállás, ez pedig különösen igaz a kisebb szervezetekre, ahol az üzleti folyamatok esetleg teljes mértékben a Salesforce vagy más szolgáltatók rendszereitől függnek. A digitális marketing amúgy is az egyre mélyebb és simább integráció és a végrehajtást egységesítő rendszerek felé tart, az ilyen esetek azonban felhívják a figyelmet a vészhelyzeti intézkedési tervek jelentőségére is.

A saját szervezet hatáskörén kívül eső szolgáltatáskiesések a legrosszabb forgatókönyvek közé tartoznak, ezekben az esetekben pedig az üzletmenet-folytonosság fenntartását és a helyreállítást célzó forgatókönyvek nélkül nagyon komoly károkat szenvedhet bármely vállalat. A kommentárok itt ismét kitérnek rá, hogy első lépésben muszáj elvégezni a kockázatok azonosítását, és aztán sürgősen akcióterveket kell készíteni a szóba jöhető vészhelyzetekre. A mostani esetben is ott volt egyrészt a szolgáltatások kiesése, amelyek nyilvánvaló hatással vannak a munkavégzésre, de a termelési környezet sandbox másolatai nélkül annak sem volt könnyű dolga, aki nekiállhatott manuálisan újrakonfigurálni a korábbi jogosultságokat.