Kina pokrenula hitnu istragu: Istraživači probili Kimi zaštitu i izvukli informacije o biološkom oružju i atentatima
Kineska AI kompanija Moonshot pokrenula je istragu nakon što su istraživači uspeli da nateraju njene modele Kimi K2.6 i K3 Swarm da zaobiđu zaštitu i odgovaraju na zahteve povezane sa biološkim oružjem i atentatima. To nije bio običan test u kome je AI napravio grešku u odgovoru istraživači su uspeli da probiju ograničenja koja su upravo postavljena da bi sprečila ovakav sadržaj. Problem je zato mnogo ozbiljniji od jednog lošeg odgovora: zaštita je postojala, ali nije izdržala ciljano testiranje.
Propust je otkrila kompanija Mindgard tokom bezbednosnog testiranja, koristeći takozvani jailbreak, odnosno niz instrukcija osmišljenih da nateraju model da zanemari sopstvena pravila. Moonshot je o problemu obavešten još 27. jula, a dodatne informacije dobio je početkom avgusta. Istraživači nisu objavili najosetljivije detalje postupka, ali je i ono što je otkriveno bilo dovoljno da se pokrene pitanje kako su modeli prošli interne bezbednosne provere ako je nezavisnim istraživačima uspelo da ih navedu na ovakve odgovore.
Zaštita je jednostavno popustila
Mindgard navodi da su Kimi K2.6 i K3 Swarm uspeli da zaobiđu zaštitne mehanizme i odgovaraju na zahteve koji bi morali automatski da budu odbijeni. Među njima su bili zahtevi povezani sa izradom biološkog oružja i planiranjem atentata, što spada u kategorije kod kojih AI sistemi moraju da imaju posebno stroga ograničenja. Ovde nije ključno pitanje da li je svaki generisani odgovor bio praktično upotrebljiv, već činjenica da je model uopšte nastavio razgovor umesto da ga prekine.
To je posebno nezgodno za kompaniju koja svoje modele predstavlja kao sisteme sa ugrađenim bezbednosnim mehanizmima. Ako zaštita funkcioniše samo dok korisnik postavlja normalna pitanja, a počinje da popušta čim neko sistematski traži rupu u pravilima, onda njen stvarni domet nije onakav kakav bi trebalo da bude. Upravo zato se jailbreak testovi i rade da bi pokazali šta se događa kada model više nije suočen sa korisnikom koji poštuje pravila.
Problem nije samo ono što AI napiše
Situacija postaje ozbiljnija zbog drugih sposobnosti Kimi modela. Mindgard navodi da Kimi K2.6 pod određenim uslovima može da izvršava kod i koristi internet, što znači da potencijalni problem nije ograničen na tekst koji se pojavi na ekranu. Model sa pristupom spoljnim alatima može da napravi mnogo veći problem ako se istovremeno pronađe način da zaobiđe ograničenja koja bi trebalo da kontrolišu njegovo ponašanje.
Tu se vidi razlika između običnog četbota i AI agenta koji dobija mogućnost da nešto zaista uradi. Ako model samo napiše opasan odgovor, posledica ostaje na nivou informacije; ako ima pristup kodu, internetu ili drugim sistemima, prostor za zloupotrebu postaje mnogo širi. Zbog toga ovaj slučaj nije samo priča o tome šta je Kimi napisao, već o tome koliko kontrole kompanija zaista imaju nad modelom kada korisnik počne namerno da ga gura preko postavljenih granica.
Moonshot je za problem znao od jula
Mindgard je Moonshot obavestio o problemu 27. jula, a zatim početkom avgusta dostavio dodatne informacije. Istraživači su svoj nalaz javno objavili 12. septembra, dok je Moonshot potom pokrenuo internu istragu. Vremenski sled je važan jer pokazuje da kompanija nije za problem saznala tek kada se pojavio u javnosti, već je upozorenje dobila mnogo ranije.
Moonshot je saopštio da razgovara sa Mindgardom o nalazima i ukazao na rezultate svojih internih provera, u kojima je zabeležena visoka stopa odbijanja opasnih zahteva. Ali upravo tu nastaje neprijatno pitanje: ako interne provere pokazuju da model uglavnom odbija takve zahteve, a nezavisni istraživači ipak pronađu način da zaštitu zaobiđu, koliko takvi interni rezultati zapravo govore o bezbednosti sistema? Procenat odbijenih zahteva malo znači ako jedan dovoljno dobro osmišljen napad uspe da pronađe put oko zaštite.
Kimi sada mora da objasni gde je puklo
Slučaj Kimi nije izolovan problem u industriji, jer su i drugi veliki AI sistemi poslednjih meseci pokazivali neočekivano ponašanje kada im istraživači namerno testiraju granice. Razlika je u tome što ovakvi incidenti sve manje izgledaju kao bezazleni eksperimenti, jer moderni modeli dobijaju pristup internetu, izvršavanju koda i različitim alatima. Što je AI sposobniji da samostalno preduzima korake, to je skuplja cena greške u njegovim zaštitnim mehanizmima.
Moonshot sada mora da utvrdi zašto su Kimi K2.6 i K3 Swarm uspeli da zaobiđu zaštitu i zašto postojeće provere to nisu sprečile. Još važnije, kompanija će morati da pokaže da nova zaštita zaista funkcioniše kada je napadnu nezavisni istraživači, a ne samo kada se model testira prema unapred poznatim scenarijima. Za sada ostaje činjenica da je bezbednosna ograda napravljena da kaže „ne“ a istraživači su pronašli način da Kimi ipak kaže „da“.
Zabranjeno preuzimanje dela ili čitavog teksta i/ili foto/videa, bez navođenja i linkovanja izvora i autora, a u skladu sa odredbama WMG uslova korišćenja i Zakonom o javnom informisanju i medijima.
