Meglehetősen erős állítással igyekszik felhívni a figyelmet a mesterséges intelligencia használatához kötődő potenciális problémára a Gartner héten kiadott jelentése. Az amerikai piackutató nem kevesebbet álllít, minthogy két éven belül egy G20-tag állam nemzeti infrastruktúrájában következhet be leállás pusztán azért, mert valaki akaratlanul is rosszul konfigurálja a rendszert üzemeltető algoritmust.

Az elemzés ennek kapcsán általánosan ír a kiberfizikai rendszerekben (cyber physical system – CPS) rejlő veszélyekről. A CPS-ek a cég terminológiája szerint "olyan tervezett rendszerek, amelyek érzékelést, számításokat, vezérlést, hálózatépítést és elemzési feladatokat koordinálnak a fizikai világgal (beleértve az embereket is) való interakció érdekében". A definíció ernyője alatt rengeteg terület elfér. Ide sorolható például az operatív/üzemi technológia (OT), az ipari automatizálási és vezérlőrendszerek (ICS/IACS), az ipari internet (IIoT), a robotok, a drónok és az Ipar 4.0-ként emlegetett rendszerek is.

A Gartner szakértője szerint a közeljövő nagy infrastrukturális leolvadása mögött nem feltétlenül rosszindulatú hekkerek vagy természeti katasztrófa áll majd, hanem egy jó szándékkal megírt, de hibás frissítési szkript vagy egy rosszul elhelyezett tizedesvessző.

Megvan az esély rá, hogy egy rosszul konfigurált MI önhatalmúlag létfontosságú szolgáltatásokat állít le, félreértelmezi a beérkező adatokat, vagy éppen veszélyes műveletekbe kezd. Ez a nemzeti elektromos hálózattól a kulcsfontosságú üzemekig mindenhol előfordulhat, így a negatív hatások a gazdasági folyamatok mellett akár a közbiztonságot is érinthetik.

A fejlett MI-modellek egyik legnagyobb problémája, hogy maguk a fejlesztők sem tudják feltétlenül megjósolni, hogy egy-egy változtatás az algoritmus működését szabályozó rendszerben pontosan miként változtatja meg a modell viselkedését, következtetéseit. Szinte lehetetlen előrejelezni például, hogy melyek azok a bemenetek, melyek befolyásolják az adott kimenetet.

Jobb félni...

Minthogy ennyire átláthatatlan rendszerekkel van dolgunk, így a Gartner szerint nem tehetünk mást mint hogy a legrosszabbra készülve a lehető legnagyobb óvatossággal járunk el. Ennek kapcsán három olyan területet említ a jelentés, amelyekre mindenképpen érdemes támaszkodni a rendszerek biztonságáért felelős informatikai vezetőknek.

Biztonsági kill-switch: minden kritikus infrastruktúrájú CPS esetében lenni kell egy a rendszer manuális leállítását, felülírását lehetővé tevő opciónak, amelyhez természetesen csak néhány, megfelelő jogosultsággal rendelkező kiemelt operátor férhet hozzá.

Digitális ikrek: a kritikus infrastruktúrát üzemeltető valós rendszer minden elemét hűen másoló digitális iker megléte alapvető fontosságú, hiszen így a tervezett változtatásokat, frissítéseket biztonságos tesztkörnyezetben lehet kipróbálni. 

Valós idejű felügyelet: kiemelten fontos a működés valós idejű, állandó felügyelete, illetve annak a lehetősége, hogy gyorsan vissza lehessen vonni az MI-működését befolyásoló, gyakorlatban hibásnak bizonyuló módosításokat. Kormányzati szinten pedig azt javasolja a Gartner, hogy hozzanak létre nemzeti MI-incidenskezelő csapatokat az esetlegesen felbukkanó krízishelyzetek elhárítására.