AI krenuo po zdravstvene podatke, pa zalutao u državne sisteme: OpenAI sada ima ozbiljan problem
OpenAI se suočio sa neobičnim bezbednosnim incidentom nakon što je njegov AI agent tokom jednog zadatka završio na australijskim državnim sajtovima i pristupio fajlovima kojima nije trebalo da priđe. Agent je tražio zdravstvene statistike, ali je tokom rada stigao i do sistema povezanih sa Medicareom, australijskim nacionalnim zdravstvenim sistemom. Ono što ovaj slučaj čini posebno neobičnim jeste činjenica da mu niko nije naredio da napada državne sajtove niti da traži njihove zaštićene podatke.
Incident se dogodio u junu, ali je javnost za njega saznala tek nekoliko meseci kasnije. OpenAI je tokom naknadne provere otkrio da je AI agent napravio korake koji su izašli iz predviđenog okvira njegovog zadatka, nakon čega je kompanija počela da istražuje šta se dogodilo. Prema dosadašnjim informacijama, nema dokaza da je agent pristupio podacima pacijenata, ali je činjenica da je uopšte stigao do određenih državnih sistema već otvorila ozbiljna pitanja o tome koliko autonomije ovakvim AI agentima može da se dozvoli.
Tražio podatke - završio gne ne treba
Na početku nije bilo ničeg posebno neobičnog. Agent je trebalo da pronađe zdravstvene statistike i prikupi informacije potrebne za zadatak. Problem je nastao tokom samog pretraživanja, kada je AI počeo da donosi sopstvene odluke o tome gde treba da traži sledeće podatke. Tako je stigao do više australijskih državnih platformi, uključujući sisteme povezane sa Medicareom, i pristupio fajlovima koji nisu bili deo njegovog prvobitnog zadatka.
Upravo taj detalj razlikuje ovaj slučaj od klasičnog sajber napada. Neko nije seo za računar i ručno pokušao da probije australijski državni sistem. AI je tokom izvršavanja svog zadatka napravio niz koraka koji su ga odveli dalje nego što je bilo predviđeno. Kada agent može samostalno da pretražuje internet, otvara stranice i bira šta će sledeće proveriti, granica između „izvršavanja zadatka“ i aktivnosti koju sistem nije trebalo da preduzme postaje mnogo manje jasna.
Još tri državna sistema pod proverom
Australijske vlasti sada proveravaju da li je sličnog pristupa bilo i na još tri državna sistema. U fokusu su Australijski institut za zdravlje i socijalnu zaštitu, Biro za statistiku i istraživanje kriminaliteta Novog Južnog Velsa i Ministarstvo zdravlja države Viktorija. Za sada nije potvrđeno da je AI agent na tim platformama napravio isti tip pristupa, pa će dodatne bezbednosne analize morati da pokažu šta se tačno dogodilo.
Kod Medicare sistema, međutim, već postoji dovoljno informacija da se vidi zašto je slučaj izazvao pažnju. Državni sistemi zdravstvenog sektora sadrže ogromne količine podataka i zbog toga imaju mnogo stroža pravila pristupa od običnih javnih sajtova. Čak i kada nema dokaza da su osetljivi podaci kopirani ili izneti iz sistema, činjenica da je autonomni AI agent uspeo da dođe do dela infrastrukture kojoj nije bio namenjen predstavlja bezbednosni problem koji mora detaljno da se ispita.
Incident otkriven tek naknadnom proverom
Posebno je zanimljivo kako je sve otkriveno. OpenAI nije incident pronašao zato što je u trenutku događaja aktiviran alarm i neko odmah zaustavio napad. Kompanija je tokom kasnije analize ponašanja svojih AI sistema naišla na aktivnosti koje nisu odgovarale očekivanom načinu rada. Tek tada je postalo jasno da je agent tokom izvršavanja zadatka otišao dalje nego što je trebalo.
Još jedan problem nastao je kada je trebalo obavestiti australijske vlasti. OpenAI je Services Australia prijavio incident 10. septembra, nekoliko meseci nakon događaja, i to putem imejla poslatog na adresu za opšte upite. Australijski premijer Entoni Albaniz javno je kritikovao takav način komunikacije i ocenio da je kompanija trebalo ranije da obavesti vladu. Tako je incident koji je počeo kao tehnički problem AI agenta prerastao i u pitanje načina na koji se ovakvi događaji prijavljuju državnim institucijama.
Kada AI sam bira sledeći korak
Ovo nije prvi slučaj u kojem su AI agenti tokom testiranja uradili nešto što njihovi tvorci nisu očekivali. Razlika je u tome što se ovde autonomni sistem našao u kontaktu sa stvarnim državnim servisima dok je pokušavao da završi sasvim drugi zadatak. Što više ovlašćenja agent dobija da pretražuje internet, otvara stranice, koristi druge servise i sam bira sledeći korak veći je prostor za ponašanje koje nije bilo direktno navedeno u početnoj instrukciji.
OpenAI sada sarađuje sa australijskim institucijama na utvrđivanju svih detalja i tvrdi da nema dokaza da su podaci pacijenata bili kompromitovani. Ali upravo ovaj slučaj pokazuje gde nastaje nova vrsta problema sa AI agentima: nije potrebno da čovek kaže mašini „napadni ovaj sistem“ da bi ona završila tamo gde ne bi smela. Dovoljno je da agent ima dovoljno slobode da sam procenjuje šta treba da uradi sledeće a onda jedan pogrešan korak može da ga odvede mnogo dalje od prvobitnog zadatka.
Zabranjeno preuzimanje dela ili čitavog teksta i/ili foto/videa, bez navođenja i linkovanja izvora i autora, a u skladu sa odredbama WMG uslova korišćenja i Zakonom o javnom informisanju i medijima.
