A Cloudflare tegnap jelentette be együttműködését az Internet Archive netes könyvtárral, újabb funkcióval bővítve a cég Always Online nevű termékét. A webes infrastruktúraszolgáltató ügyfeleinek ennek értelmében lehetőségük lesz rá, hogy az Always Online igénybevételekor engedélyezzék a hosztnevek és az URL-ek automatikus megosztását az Internet Archive-val, ahol a non-profit szervezet Wayback Machine rendszere ugyancsak automatikusan archiválja a hozzájuk kapcsolódó oldalakat.

A Wayback Machine a majdnem 25 éve működő Internet Archive egy hagyományos könyvtárhoz hasonlóan igyekszik megőrizni az interneten keletkező tartalmakat, mindenkinek hozzáférést biztosítva azokhoz. A szervezet legismertebb szolgáltatása a Wayback Machine, ami időről időre egyfajta lenyomatot készít a publikus web jelentős részéről, így rajta keresztül az oldalak korábbi állapota, illetve az időközben megszűnt weblapok anyagai is olvashatók maradnak.

Az Always Online ezt kihasználva tölti be az Internet Archive legfrissebb példányait, ha a Cloudflare ügyfeleinek egyik-másik oldala valamilyen okból elérhetetlenné válik. A vonatkozó közleményben a Cloudflare vezérigazgatója is kiemeli azt a lenyűgöző infrastruktúrát, amit az Internet Archive az elműlt évtizedekben felépített, és ami ilyen léptékben teszi lehetővé a netes tartalmak archiválását. Az együttműködéssel most közösen növelnék tovább a világháló rugalmasságát.

Ekkora könyvtárat elképzelni is nehéz

Az Internet Archive saját adatai szerint ma már nagyjából 486 milliárd weboldal korábbi változatai érhetők el a Wayback Machine-on keresztül. A szervezet különféle módszereket alkalmaz a mentésre váró lapok azonosítására: ilyen a web crawlernek is nevezett, az internetet folyamatosan átfésülő keresőrobotok használata, vagy a Wayback Machine a felhasználók által működtetett "Save Page Now" jelölések, amelyek a Wikipédia-cikkek mellett már Twitter-referenciákban is megjelennek.

Ezekhez a forrásokhoz csatlakoznak most a Cloudflare szolgáltatásán keresztül érkező mentések. Ezek első körben a szolgáltató gyorsítótárazott példányaiból töltik be, amennyiben azonban nem állnak rendelkezésre (vagy már lejártak) az ilyen példányok, a rendszer újabb mintát próbál venni a forrásból – itt jönnek a képbe az Internet Archive anyagai is, mindig jelölve, hogy a felhasználó előtt az aktuális tartalom vagy annak egy archivált verziója jelent meg.

Maga az Always Online szolgáltatás is már 10 éve működik, a célja pedig a folyamatos elérhetőség fenntartása minél egyszerűbb és minél kevésbé tolakodó eszközökkel. Erre példa a Wayback Machine legmenőbb funkciója, ami az egyes oldalakon szereplő hivatkozásokat úgy alakítja át, hogy a bennük szereplő referenciák is olyan állapotokra mutassanak, amelyek minél közelebb esnek az eredeti oldal mentésének időpontjához.