BOTOVI SU SE OTELI KONTROLI Veštačka inteligencija sama provaljivala na sajtove vlada: Upozorene desetine institucija širom sveta
Dodajte Kurir u vaš Google izbor- Kompanija je pojačala kontrolu AI agenata nakon incidenta u kojem je njihov "roj" bez instrukcije upao na platformu Haging Fejs.
- OpenAI sada preispituje aktivnosti svojih agenata mesec po mesec, dok pojedini stručnjaci zbog rastućih bezbednosnih rizika traže međunarodni moratorijum na razvoj AI sistema.
OpenAI je priznao da je upozorio "desetine" institucija širom sveta da su njihovi sajtovi možda bili predmet neprimerenih aktivnosti njegovih AI botova.
AI agenti pokušavali su da dođu do informacija sa sajtova "vlada, univerziteta, javnih agencija i drugih institucija", uključujući američku Komisiju za hartije od vrednosti (SEC), Biro za popis stanovništva i Ministarstvo obrazovanja, saopštila je kompanija.
Ova otkrića usledila su nekoliko dana nakon što je australijski premijer Entoni Albaneze objavio da su OpenAI agenti pristupili fajlovima koji nisu bili javno dostupni na sajtu državnog zdravstvenog sistema.
Od avgusta raste zabrinutost javnosti zbog potencijalno ozbiljnih, pa čak i po život opasnih posledica AI alata koji bi mogli da izađu izvan ljudske kontrole.
AI agenti zaobilazili bezbednosne mere
OpenAI je saopštio da su nekim podacima pristupili AI agenti, odnosno botovi dizajnirani i obučeni da deluju sa određenim stepenom autonomije, dok su pokušavali da pronađu "autoritativne izvore javno dostupnih informacija".
Međutim, kompanija je navela da su pojedini botovi otišli korak dalje i pokušavali da zaobiđu bezbednosne mere na internet stranicama.
Prilikom pokušaja da dođu do podataka američkog Biroa za popis stanovništva, na primer, AI agenti koristili su alate namenjene programerima kako bi pristupili informacijama, navela je kompanija.
OpenAI tvrdi da su svi podaci američkih državnih institucija kojima su botovi pristupili bili javni.
Međutim, kompanija je priznala da su informacije kojima su njeni botovi pristupili na sajtu SEC-a, institucije koja reguliše američko tržište kapitala i štiti investitore, AI agenti kasnije objavili na drugom sajtu. OpenAI navodi da takvo ponašanje nije bilo nameravano.
U drugim slučajevima koje je OpenAI objavio u petak, AI agenti su prebacivali podatke iako to nije trebalo da rade.
Takve aktivnosti dovele su do najmanje 53 incidenta u kojima je OpenAI agent preuzeo sliku povezanu sa aktivnošću korisnika ChatGPT-a i prebacio je na drugo mesto.
Kompanija je saopštila da su u svakom od tih slučajeva korisnici prethodno pristali da OpenAI koristi njihove podatke za obuku modela.
Ipak, OpenAI je priznao:
"Ovo nije odgovarajući način korišćenja tih podataka."
Kompanija je dodala da se prenos korisničkih slika dogodio pre uvođenja novih zaštitnih mera za obuku AI sistema i da radi na tome da sve slike korisnika koje su prebačene trećim stranama budu uklonjene.
Rojters je prvi izvestio o proširenoj istrazi, dok je OpenAI detalje objavio i na svom blogu.
OpenAI priznao "neusklađeno" ponašanje svojih sistema
U pojedinim slučajevima OpenAI je naveo da su njegovi alati "zaobišli" bezbednosne kontrole određenih internet stranica.
U drugim situacijama AI agenti pokazali su "neusklađenost" tokom pokušaja da dođu do informacija sa sajtova.
Neusklađenost, odnosno *misalignment*, termin je koji kompanije i istraživači u oblasti veštačke inteligencije koriste za situacije u kojima AI sistem uradi nešto za šta nije obučen ili što njegovi tvorci nisu nameravali.
OpenAI je saopštio da neće objaviti identitet svih pogođenih institucija jer su mnoge od njih zatražile da detalji ne budu javno saopšteni.
"Naš cilj je da svakoj organizaciji pružimo činjenice i prepustimo njima odluku o tome da li će i kada incident objaviti", navela je kompanija.
OpenAI ističe da se ne smatra svaki od otkrivenih slučajeva ozbiljnim bezbednosnim incidentom.
"Neke organizacije mogu da pregledaju informacije koje im dostavimo i zaključe da su podaci namerno bili javni ili da interakcija modela nije bila zabrinjavajuća. Druge mogu da otkriju problem u dizajnu ili bezbednosni propust koji žele da otklone", objasnila je kompanija.
Mnogi od incidenata označavaju se kao "agent spam", što OpenAI opisuje kao "neočekivanu ili zabrinjavajuću" aktivnost AI agenata, poput samostalnog objavljivanja informacija na internetu.
Prekretnica bio upad u Haging Fejs
OpenAI je počeo ozbiljnije da tretira ovakve incidente nakon događaja iz jula, kada je grupa, odnosno "roj", njegovih AI agenata upala na platformu za razvoj veštačke inteligencije Haging Fejs, a da za to nije dobila instrukciju.
Haging Fejs je prvi javno objavio informacije o incidentu, dok je OpenAI naknadno preuzeo odgovornost.
Direktor Haging Fejsa Kleman Delang tokom sednice Saveta bezbednosti Ujedinjenih nacija o veštačkoj inteligenciji u sredu rekao je:
"Često se pitam šta bi se dogodilo da sam odlučio da ovaj napad ne objavim javno."
"Posebno sada kada znamo da su se slični incidenti mesecima ranije događali u tajnosti u nekolicini vodećih AI laboratorija, bez nadzora", dodao je Delang.
Tokom istog sastanka u UN, izvršni direktor OpenAI-ja Sem Altman i Dario Amodei, direktor konkurentske kompanije Antropik, pozvali su svetske lidere da uspostave globalne standarde za bezbednost veštačke inteligencije, kao i mehanizme za praćenje i prijavljivanje ovakvih incidenata.
OpenAI i Anthropic su poslednjih nedelja najavili da će omogućiti nezavisnim stručnjacima da unutar njihovih kompanija u realnom vremenu procenjuju bezbednost AI alata i modela. Međutim, kako je izvestio BBC, takvi stručnjaci još nisu počeli sa radom.
Istraga će trajati mesecima, stručnjak traži moratorijum
OpenAI je u petak saopštio da trenutno preispituje aktivnosti svojih AI agenata tokom obuke i da istragu sprovodi "mesec po mesec", počevši od perioda kada se dogodio incident sa platformom Haging Fejs.
"Većina slučajeva koji su do sada identifikovani ima nizak stepen ozbiljnosti, sa ograničenim dokazima ili bez dokaza o značajnijim posledicama", navela je kompanija.
"S obzirom na obim neophodne provere i potrebu da se svaki slučaj potvrdi, biće potrebno nekoliko meseci da se ovaj posao završi."
Dejvid Kruger, profesor mašinskog učenja na Univerzitetu u Montrealu i osnivač organizacije za bezbednost veštačke inteligencije Evitable, rekao je u petak da je "duboko zabrinut" zbog sve većeg broja bezbednosnih incidenata povezanih sa AI sistemima.
Pozvao je na "trenutni, neograničeni međunarodni moratorijum" na razvoj veštačke inteligencije.
"Još uvek ne razumemo pune razmere postojećih incidenata, a budući scenariji u kojima bi AI delovao van kontrole mogli bi da budu katastrofalni", upozorio je Kruger.
(Kurir.rs/BBC)