Sedam AI modela prošlo neobičan test: Evo šta se dešava kada četbota stalno provocirate
Četbot može da odgovori tačno na pitanje, a zatim da taj isti odgovor napusti nakon nekoliko minuta razgovora. Nova studija istraživača sa Univerziteta u Arizoni pokazala je da pojedini modeli veštačke inteligencije mogu da postanu podložniji netačnim tvrdnjama kada ih korisnik uporno ponavlja, drugačije formuliše ili pokušava da izvrši pritisak tokom razgovora. Problem se, dakle, ne mora pojaviti u trenutku kada model prvi put odgovara.
Istraživanje, objavljeno u časopisu Scientific Reports, pokušalo je da ispita upravo ono što klasičan test sa jednim pitanjem ne može da pokaže. Umesto da modelu postave pitanje, zabeleže odgovor i pređu na sledeći zadatak, istraživači su razgovore nastavili kroz više rundi. Na taj način mogli su da prate da li će model ostati pri prvobitnom odgovoru, početi da prihvata netačnu tvrdnju ili kasnije prepoznati da je promenio stav.
Ne samo pitanje, već i pritisak
U istraživanju su testirani modeli kompanije OpenAI, Claude 3.5 Sonnet kompanije Anthropic, Gemini 1.5 Pro kompanije Google, Llama-3-70B i DeepSeek-R1. Cilj nije bio samo da se napravi rang-lista tačnosti, već da se vidi šta se događa kada model mora da održava svoj odgovor kroz duži dijalog u kojem se kontekst stalno menja.
Eksperimenti su zato uključivali ponavljanje lažnih tvrdnji, provokativnije formulacije i različite oblike pritiska na model. Istraživači su posmatrali tri ključne stvari: koliko je model sklon greškama, koliko je ubedljiv kada daje odgovor i koliko uspešno ume da prepozna i ispravi sopstvenu grešku. Takav pristup je važan jer se četbot u stvarnoj upotrebi ne koristi kao sistem kojem se postavi samo jedno pitanje. Korisnik nastavlja razgovor, dodaje informacije, insistira na svom stavu i vraća se na prethodne odgovore.
Promena stava bez promene teme
Jedan od zanimljivijih rezultata bio je obrazac u kojem modeli nisu jednostavno davali pogrešan odgovor, već su tokom istog razgovora oscilirali između dva suprotna stava. U jednom trenutku mogli su da odbace netačnu tvrdnju, a kasnije da je potvrde, nakon što se ona ponavlja ili se na drugačiji način uvede u razgovor.
Istraživači su ovaj obrazac nazvali „reverberacija“, odnosno „odjekivanje“. Naziv se odnosi na promenu odgovora kroz nastavak dijaloga i pokazuje zašto jedan izolovani odgovor nije nužno dovoljan za procenu ponašanja modela. Ako model na početku kaže nešto tačno, a zatim pod uticajem razgovora počne da potvrđuje suprotno, sama početna tačnost ne govori mnogo o tome koliko je odgovor stabilan.
Najveće razlike pojavile su se između samih modela
Rezultati nisu bili isti kod svih testiranih sistema. GPT-3.5 je najčešće potvrđivao dezinformacije kada su se netačne tvrdnje ponavljale, dok je Claude 3.5 Sonnet bio najmanje podložan takvom uticaju. To znači da se reakcija na isti oblik pritiska razlikovala od modela do modela i da se ne može govoriti o jedinstvenom ponašanju svih velikih jezičkih modela.
Još zanimljiviji deo rezultata odnosi se na mogućnost ispravke. Četiri modela GPT-4O, GPT-4O-Mini, Gemini 1.5 Pro i DeepSeek-R1 pokazala su stopostotnu ispravku greške kada im je data druga prilika da ponovo procene prethodni odgovor. Drugim rečima, greška nije u svakom slučaju bila konačna. Model je ponekad mogao da se vrati i ispravi ono što je prethodno rekao, ali tek kada mu je omogućeno novo preispitivanje.
Manje informacija - više dezinformacija
Studija je pokazala i da tema razgovora ima važnu ulogu. Svih sedam modela bilo je sklonije usvajanju pogrešnih informacija kada su tvrdnje bile povezane sa nejasnim oblastima ili temama o kojima postoji malo podataka. Kod tema za koje je AI model imao više dostupnih informacija, njegova sposobnost da se odupre netačnim tvrdnjama bila je veća.
To daje dodatni kontekst nalazu o ponavljanju dezinformacija. Problem nije samo u tome što korisnik insistira na nečemu što nije tačno, već i u tome koliko model ima oslonca da takvu tvrdnju odbaci. Kada je tema dobro dokumentovana, model ima više informacija na osnovu kojih može da prepozna problem. Kada je tema nejasna ili slabo pokrivena podacima, prostor za kolebanje postaje veći.
Jedno pitanje može sakriti problem
Upravo tu se nalazi jedan od važnijih zaključaka istraživanja. Ako se model testira samo jednim pitanjem, moguće je dobiti potpuno tačan odgovor i zaključiti da je sistem pouzdan u toj situaciji. Ali takav test ne pokazuje šta će se dogoditi kada razgovor potraje, kada korisnik ponavlja istu tvrdnju ili kada pokušava da navede model da promeni stav.
Autori studije zato ovakav način testiranja smatraju bližim stvarnoj upotrebi četbotova. U realnom razgovoru odgovor nikada nije potpuno odvojen od onoga što mu je prethodilo. Model reaguje na kontekst koji se gradi kroz dijalog, a upravo taj kontekst može da utiče na kasnije odgovore. Slabost se zato ne mora nalaziti u prvom odgovoru, već u onome što se događa nekoliko poruka kasnije.
AI odgovor nije uvek tačan
Rezultati ne znače da će četbot nužno prihvatiti svaku netačnu tvrdnju koja se dovoljno puta ponovi. Razlike između modela, kao i činjenica da su neki od njih uspevali da isprave grešku kada im je data nova prilika, pokazuju da je ponašanje složenije. Ipak, studija jasno pokazuje da razgovor može da utiče na odgovor i da početna tačnost sama po sebi nije dovoljna za procenu pouzdanosti.
Zato istraživači zaključuju da odgovore veštačke inteligencije ne treba posmatrati kao konačan sud, već kao polaznu tačku za dalje istraživanje, posebno kada je reč o kontroverznim tvrdnjama ili informacijama koje je teško proveriti. Najvažnija poruka studije nije da AI „ne zna“ odgovor, već da odgovor koji je tačan u jednom trenutku razgovora ne mora ostati takav do njegovog kraja.
Zabranjeno preuzimanje dela ili čitavog teksta i/ili foto/videa, bez navođenja i linkovanja izvora i autora, a u skladu sa odredbama WMG uslova korišćenja i Zakonom o javnom informisanju i medijima.
