A Fastly felhőszolgáltató jelentése is megerősíti, hogy a mesterséges intelligencia által vezérelt robotok már jelentős terhelést jelentenek a nyílt weben, percenként akár több ezer kéréssel bombázva az egyes webhelyeket. A 2025 második negyedévére kiadott Fastly Threat Insights Report szerint a Meta MI-részlege mára az adatgyűjtést végző crawlerek több mint felét üzemelteti, míg a célzott lekérések (on-demand fetch) túlnyomó többségéért az OpenAI felelős. A Fastly vezető biztonsági kutatója a jelentés közzétételével kapcsolatos nyilatkozatában arról beszélt, hogy az MI-botok "átalakítják az internet elérésének és megtapasztalásának módját, új komplexitásokat vezetve be" a digitális platformokon.
Ennek alapján a mesterséges intelligencia betanítására használt adatok gyűjtése és a valós idejű válaszok keresése is kihívásokat jelent a láthatóság, az ellenőrzés és a költségek terén. A Fastly saját szolgáltatásain keresztül 130 ezer alkalmazás és API, ezzel összefüggésben pedig több mint 6,5 billió kérés elemzéséből egyértelműnek tartja, hogy a megfelelő szabványok nélkül a MI-vezérelt automatizálási kockázatok "vakfolttá válnak a digitális csapatok előtt". Mivel az oldalak egyre nagyobb terhelését nem emberi látogatók, hanem az MI-chatbotokkal összefüggő automatizált forgalom okozza, a nem megfelelően tervezett szoftverrobotok "akaratlanul is fenntarthatatlan terhelést róhatnak a webszerverekre".
Az említett teljesítményromlás, szolgáltatáskiesés és megnövekedett működési költség a jelentés szerint nem fenntartható dolog, mert a technikai kihívásokon túl aláássa a tartalomkészítők üzleti modelljét is. Ide tartozik, hogy a fetcher lekérések a teljes mennyiség körülbelül 20 százalékát teszik ki, a Fastly adatai szerint adott esetben hatalmas forgalomnövekedést okozhatnak: a tesztidőszakban olyat is tapasztaltak, hogy egyetlen forrásból percenként több mint 39 ezer kérést érkezett egy oldalra. Az ilyen típusú forgalom ráadásul a későbbiekben egyre csak növekszik majd, ahogy az MI-eszközök egyre szélesebb körben elterjednek, és ahogy ezen belül egyre több ügynöki (agentic) MI-eszköz kerül használatba.
A megoldás az lenne, ha bedőlne az üzletük
Azon túl, hogy a "magukra valamit adó" mesterségesintelligencia-cégeknek tiszteletben kellene tartaniuk a robots.txt utasításokat, a Fastly szerint még fontosabb lenne közzétenniük vonatkozó IP-címtartományaikat, a robotoknak pedig egyedi neveket kellene használniuk. Ez lehetővé tenné a webhelyek üzemeltetőinek is, hogy jobban megkülönböztethessék azokat, és részletes szabályokat érvényesítsenek a botokat kezelő megoldásokban. Ugyanakkor a jelentés arra is figyelmeztet, hogy a szabályozási keretrendszerekben "a műszaki szabványok kötelezővé tétele gyakran eredménytelen", és itt sem lenne jó elsődleges megközelítés – főleg, hogy az iparági fórumokon is dolgoznak a problémákon.
Az aktív ellenintézkedésekkel kapcsolatban a Fastly óvatosságra int, mert a rendelkezésre álló technikák alkalmazásakor benne van a pakliban a legitim felhasználók véletlen blokkolása vagy a felhasználói élmény lerontása. Maguk a robotok is folyamatosan fejlődnek, kikerülve a nekik állított csapdákat, ami ezen a területen is egy állandó macska-egér játékhoz vezet. A The Register riportjában idézett szakértő szerint egyébként csak egyetlen dolog terelheti mederbe a crawler/fetcher forgalom növekedését, ez pedig a gyakran emlegetett mesterségesintelligencia-buborék kipukkadása lenne, mivel az adatok begyűjtése (data scraping) valószínűleg addig tart, amíg az érintett cégek erre költhetik a befektetők pénzét.
Az aktív ellensúlyok bevezetését viszont már szabályozási kérdésnek nevezi, egzisztenciálisan fenyegető bírságokkal és a megkárosított közösségeknek fizetendő kártérítésekkel a "digitális közjót romboló" MI-cégeknek. Ebben a cikkben is szóba kerül, hogy a szóban forgó vállalatok ironikus módon éppen azokra a közösségekre támaszkodnak, amelyeket megpróbálnak elpusztítani. Utóbbiaknak a megfelelő technikai szakértelemmel is elsősorban olyan eszközök állnak a rendelkezésükre, amelyekkel költségesebbé tehetik a visszaélésszerű forgalom gerjesztését, számítási szempontból drágítva az "adatkaparást", pénzügyileg lehetetlenítve el az adott feladatok növekvő hardverigényének biztosítását.
Nyílt forráskód: valóban ingyenes, de használatának szigorú szabályai vannak