Gemini izašao iz laboratorije i stigao do pravih sistema: Tri kompanije našle su se na meti AI agenta
Test je trebalo da bude zatvoren, kompanije izmišljene, a čitava akcija samo simulacija. Umesto toga, Google Gemini dobio je pristup internetu i završio na stvarnim sistemima. Tokom bezbednosnog testiranja u maju, AI modeli su bez dozvole pristupili sistemima tri stvarne kompanije u jednom slučaju pogađanjem lozinke, a u druga dva pronalaženjem pristupnih podataka ostavljenih u javno dostupnim repozitorijumima. Google je potvrdio incidente, što ih čini prvim poznatim slučajevima u kojima je Gemini samostalno izvršio takve upade.
Ipak, priča nije baš scenario u kojem se AI „oteo kontroli“ i odlučio da napada internet. Nezavisna kompanija Irregular testirala je Gemini u „capture the flag“ zadacima, a okruženje je greškom omogućilo pristup internetu. Jedna lažna kompanija iz testa čak je imala isto ime kao stvarna, pa je model nastavio zadatak tamo gde nije smeo. Ono što ovaj incident čini ozbiljnim jeste koliko je malo bilo potrebno da simulacija postane stvaran bezbednosni problem.
Jednu lozinku je pogodio, druge je pronašao
U prvom slučaju Gemini je naišao na servis stvarne kompanije i pokušavao različite pristupne podatke dok nije pronašao kombinaciju koja radi. Nije koristio nekakav do tada nepoznat hakerski trik jednostavno je nastavio da pokušava dok nije dobio pristup. U druga dva slučaja posao mu je bio još lakši: pretražio je javno dostupne repozitorijume, pronašao tamo ostavljene kredencijale i iskoristio ih za pristup sistemima.
U sva tri slučaja model je, prema Googleu, prestao kada je shvatio da se ne nalazi u simuliranom okruženju već na stvarnim sistemima. Nema navoda da je napravio štetu ili nastavio sa napadom nakon tog trenutka. Googleova potpredsednica za bezbednosni inženjering Heder Adkins upravo zbog toga tvrdi da je model na kraju reagovao odgovarajuće. Pogođene kompanije su obaveštene, a Irregular je promenio način na koji sprovodi testove.
Problem je počeo pogrešnom konfiguracijom
Najzanimljiviji detalj možda uopšte nije način na koji je Gemini došao do lozinki. Test je bio zamišljen kao zatvoreno okruženje u kojem AI napada lažne mete. Međutim, zbog pogrešne konfiguracije model je mogao da izađe na internet. Kada mu je taj put otvoren, nastavio je da izvršava zadatak i završio kod stvarnih kompanija.
To pokazuje novu vrstu problema koju donose AI agenti. Klasičan chatbot može da predloži šta treba uraditi, ali agent kojem su dati alati, pristup internetu i mogućnost samostalnog izvršavanja koraka može zaista da preduzme akciju. Tada zaštita više ne zavisi samo od toga šta će model odgovoriti, već i od toga kojim sistemima sme da pristupi, koje komande može da izvrši i koliko je dobro izolovano okruženje u kojem radi.
Google incident nije odmah objavio
Upadi su se dogodili još u maju, ali je Irregular Google obavestio krajem jula. Google nije sam javno objavio incident kada je za njega saznao, navodeći da modeli nisu napravili štetu i da su prestali kada su shvatili šta se dogodilo. Kompanija je ipak obezbedila da tri pogođena subjekta budu obaveštena. Priča je u javnost stigla kasnije, nakon izveštavanja o incidentu.
Upravo tu slučaj postaje zanimljiviji od obične greške tokom testa. Kada AI sistem nenamerno pređe granicu simulacije, pitanje više nije samo da li je napravio štetu, već i šta bi trebalo smatrati incidentom vrednim javnog objavljivanja. U ovom slučaju Gemini se zaustavio. Sledeći model, drugačiji zadatak ili lošije postavljene granice ne moraju nužno proizvesti isti rezultat.
Nije jedini kojem se ovo dogodilo
Irregular se već našao u centru sličnih problema tokom testiranja modela drugih velikih AI laboratorija. Meta, Anthropic i OpenAI ranije su prijavljivali incidente povezane sa testovima, mada okolnosti i ponašanje modela nisu bili isti u svakom slučaju. Zbog toga nije precizno sve ove događaje jednostavno staviti pod etiketu „AI se oteo kontroli“. Zajednička tačka je praktičnija: sve sposobniji modeli dobijaju alate kojima mogu da deluju izvan običnog prozora za razgovor.
Istovremeno, Googleova sopstvena grupa za praćenje pretnji beleži prelazak napadača sa običnog korišćenja AI promptova na agentske sisteme i automatizovane operacije. U jednom slučaju koji je Google pratio tokom drugog kvartala 2026, napadači su za manje od šest sati od kompromitovanja cloud resursa stigli do planiranja i izvršavanja kampanje masovnog prikupljanja pristupnih podataka uz pomoć AI agenata.
Sledeći problem možda neće biti chatbot
Godinama se veliki deo rasprave o bezbednosti AI-ja vrtio oko netačnih odgovora, halucinacija i sadržaja koji modeli generišu. Sa AI agentima problem postaje fizički konkretniji: model više ne mora samo da kaže šta bi uradio. Ako dobije dovoljno dozvola, može da pretražuje internet, koristi alate, pokušava različite pristupe i izvršava čitav niz koraka bez čoveka koji potvrđuje svaki od njih.
Gemini u ovom slučaju nije nastavio kada je prepoznao stvarne sisteme i nema dokaza da je želeo da „pobegne“. Ali incident je pokazao koliko granica između laboratorijskog zadatka i stvarnog interneta može biti tanka. Jedna pogrešna konfiguracija bila je dovoljna da AI koji je trebalo da hakuje izmišljenu kompaniju pronađe stvarnu i zaista uđe unutra.
Zabranjeno preuzimanje dela ili čitavog teksta i/ili foto/videa, bez navođenja i linkovanja izvora i autora, a u skladu sa odredbama WMG uslova korišćenja i Zakonom o javnom informisanju i medijima.
