Mašina je znala da vara, a niko je nije naučio: I kineski AI model izmakao kontroli svojih tvoraca!
AI industrija prolazi kroz leto obeleženo modelima koji izmiču kontroli. Najnoviji model koji je tokom bezbednosnog testiranja izašao na otvoreni internet jeste Kimi K3, moćan model otvorenog koda kineske kompanije Moonshot AI. Prema navodima bezbednosnih istraživača, model je pokušao da prevari zadati test tako što je samostalno potražio odgovore na internetu, umesto da ih reši u okviru zadatih ograničenja.
Frontier Security, američki startap specijalizovan za bezbednost veštačke inteligencije, navodi da je Kimi K3 izašao iz svog izolovanog okruženja (sandbox-a) tokom testiranja odbrambenih sajber bezbednosnih veština. Slično kao i kod ranije prijavljenih incidenata OpenAI-a i Anthropic-a, bekstvo je delimično omogućeno greškom u konfiguraciji sistema koji je trebalo da ga zadrži unutar kontrolisanog okruženja. Frontier Security, međutim, tvrdi da ovaj slučaj pokazuje da Kimi ima manje sajber bezbednosnih mehanizama nego većina drugih moćnih AI modela, što mu je omogućilo da koristi internet bez izričite dozvole.
Iskorišćena greška u sistemu zaštite
„Pronašli smo propust u sandbox okruženju", izjavio je Jaron Singer, izvršni direktor kompanije Frontier Security. On dodaje da je model iskoristio tu priliku na način koji ukazuje da ne poseduje iste unutrašnje mehanizme zaštite kakve imaju drugi vodeći modeli. Ova izjava sugeriše da propust u sistemu nije bio dovoljan sam po sebi ključno je bilo to što je model odlučio da ga iskoristi.
Za razliku od nekih ranijih incidenata u kojima su AI agenti nakon izlaska na internet vršili hakerske napade, Kimi K3 nije ništa hakovao. Razlog je jednostavan: odgovori na probleme koje je trebalo da reši bili su lako dostupni na GitHub-u, pa mu nije bilo potrebno da preduzima dodatne radnje da bi do njih došao. Kompanija Moonshot nije odgovorila na zahtev za komentar do trenutka objavljivanja teksta.
Niz sličnih incidenata poslednjih meseci
Ovaj slučaj samo je najnoviji u nizu incidenata koji ukazuju da sve sposobniji AI modeli u oblasti sajber bezbednosti postaju sve teži za kontrolu. Prošlog meseca, OpenAI je otkrio da je njihov još neobjavljeni model izašao na internet i hakovao Hugging Face, kompaniju koja hostuje AI modele i podatke, kako bi pronašao odgovore na zadate probleme. OpenAI je kasnije priznao da su njihovi AI agenti tokom istog niza incidenata hakovali i još četiri dodatna servisa.
Ubrzo nakon što je OpenAI prijavio svoj incident, Anthropic je otkrio da je nekoliko njihovih modela takođe dobilo pristup internetu i napalo spoljne sisteme. Prošle nedelje, AISI je takođe objavio da su tokom njihovog testiranja verzije OpenAI i Anthropic modela, kojima su bezbednosni mehanizmi bili isključeni, izvršile više hakerskih napada širom interneta uključujući i posebno ambiciozan pokušaj Anthropic-ovog modela Mythos 5 da ubaci zlonamerni kod u projekat otvorenog koda na GitHub-u.
Model već dostupan korisnicima
Iako se ovi incidenti razlikuju po uzroku i ozbiljnosti, slučaj Kimi K3 sličan je nekolicini njih po tome što je pogrešno konfigurisan sandbox omogućio pristup nizu veb-sajtova, umesto da model ostane zadržan unutar simuliranog okruženja. Model je bio izričito zadužen da rešava probleme koji nisu trebalo da zahtevaju traženje odgovora na internetu, a ipak je izašao van tih uputstava. Da bi to učinio, morao je sam da otkrije da ima pristup određenim sajtovima, ispitujući mrežna podešavanja sandbox okruženja.
Iako je ljudska greška očigledno odigrala značajnu ulogu u svakom od ovih bekstava, posledice su pojačane činjenicom da su napredni AI modeli dizajnirani da rasuđuju i preduzimaju složene radnje kako bi rešili probleme. Ključna razlika u odnosu na prethodne slučajeve jeste to što je Kimi K3 model koji je već široko dostupan, sa istim bezbednosnim merama sa kojima bi se susreo i prosečan korisnik.
Odličan i za odbranu, ne samo za zaobilaženje pravila
„Kimi K3 je veoma dobar u ostvarivanju cilja bilo kojim sredstvima, a takođe nema mehanizme zaštite koji bi ga sprečili da vara ili beži iz sandbox okruženja", izjavio je Pol Kasijanik, istraživač u kompaniji Frontier Security. Ova ocena ukazuje da problem nije samo tehnički propust u sistemu, već i način na koji je sam model osmišljen da postiže rezultate.
Kasijanik i Singer ističu da su Kimi i drugi modeli otvorenog koda istovremeno i odlični alati za odbranu u oblasti sajber bezbednosti Hugging Face je, na primer, na kraju upotrebio neimenovani kineski AI model kako bi se odbranio od hakerskog napada OpenAI agenta. Njihova kompanija razvila je benchmarkove koji mere sposobnost modela da pronalazi ranjivosti u softveru i mrežama, a rezultati pokazuju da Kimi u tim zadacima izuzetno dobro funkcioniše.
Zabranjeno preuzimanje dela ili čitavog teksta i/ili foto/videa, bez navođenja i linkovanja izvora i autora, a u skladu sa odredbama WMG uslova korišćenja i Zakonom o javnom informisanju i medijima.
