Politika

BIRODI PRIZNAO: Medije istraživao AI, nije bilo ljudske provere rezultata SKANDALOZNO OBJAŠNJENJE ORGANIZATORA ISTRAŽIVANJA

Prenosi: Kurir Politika

Čet, 02.04.2026. 18:35h

Foto: Printscreen

U odgovorima dostavljenim našoj redakciji BIRODI je potvrdio da su zaključci o medijima doneti i javno objavljeni na osnovu eksperimentalnog modela obrade od strane veštačke inteligencije, bez dodatne ljudske provere i kontrole, ali i bez mogućnosti nezavisne provere.

Iako su rezultati predstavljeni kao relevantan uvid u "integritet izveštavanja" srpskih medija, iz odgovora koje smo dobili proizlazi da je reč o metodološki nedovršenom i, kako sami navode, eksperimentalnom pristupu koji je u fazi razvoja.

Zbog nepotpunih odgovora, Kurir dva puta slao pitanja

Nakon prvog seta legitimnih pitanja koje smo poslali organizaciji BIRODI, dobili smo odgovore koji su suštinski predstavljali pokušaj izbegavanja razjašnjavanja svih nedoumica koje prate objavljenu analizu ove organizacije. Nakon drugog seta pitanja stvari smo napokon isterali na čistac, a BIRODI je bio primoran da prizna da je u pitanju pseudonaučni eksperiment, a ne naučno validna metoda istraživanja koja je prošla nezavisnu kontrolu i potvrdu. Kompletna pitanja i odgovore koje smo dobili pročitajte na kraju teksta.

Bez validacije rezultata

Na direktno pitanje kako je validirana analiza, iz BIRODI-ja su odgovorili da je "urađena samo AI analiza". Takvo objašnjenje praktično znači da nije bilo dodatne ljudske provere rezultata, niti je objašnjeno kako su eventualne greške identifikovane i ispravljene. Takođe, ostaje nejasno da li bi ista analiza, sprovedena pod istim uslovima, dala iste rezultate, što je jedan od osnovnih kriterijuma pouzdanosti u istraživanjima ove vrste.

Posebno je problematično objašnjenje načina na koji su identifikovani ključni elementi poput etiketiranja i govora mržnje. Iz BIRODI-ja navode da ti pojmovi nisu unapred definisani, već da ih je veštačka inteligencija "sama mapirala".

To znači da u istraživanju nije postojala precizna definicija ovih pojmova, niti unapred utvrđeni kriterijumi po kojima bi se određeni sadržaj klasifikovao. U standardnoj metodologiji, upravo se takvi pojmovi jasno definišu pre početka istraživanja, kako bi se obezbedila konzistentnost i proverljivost. U ovom slučaju, definisanje je praktično prepušteno algoritmu, bez dodatne kontrole.

Statistika koja prikriva suštinu

BIRODI se u svom radu poziva na visok statistički koeficijent, takozvani Cronbach's alpha, ali u novim odgovorima priznaje da taj pokazatelj sam po sebi ne dokazuje validnost merenja. To u praksi znači da indikatori mogu biti međusobno usklađeni, ali to ne garantuje da zaista mere ono što bi trebalo da mere, odnosno "integritet izveštavanja".

Drugim rečima, visok rezultat ne govori o tačnosti nalaza, već o doslednosti unutrašnje logike modela koji je korišćen. A model je zadao BIRODI. U prevodu, Cronbach's alpha je potvrdio da je Gavrilović dosledan u naumu da dokaže da su Šolakovi mediji kredibilni i profesionalni, za razliku od konkurencije, ali nije dao ocenu tačnosti te tvrdnje. A BIRODI istraživanje i zaključci koji proizilaze iz njega svesno i s namerom vrše zamenu teza.

Foto: Birodi.rs

Ograničen uzorak, široki zaključci

Dodatno pitanje otvara i vremenski okvir istraživanja. BIRODI potvrđuje da se analiza odnosi isključivo na prvih osam sati izbornog dana. Uprkos tome, u javnosti su predstavljeni zaključci o medijima koji mogu delovati kao šire ocene njihovog rada.

Iako iz BIRODI-ja navode da se zaključci odnose samo na posmatrani period, ostaje dilema da li tako ograničen uzorak može biti dovoljan osnov za opštije ocene o medijskom izveštavanju.

Na pitanje kad će kompletan metodološki okvir biti objavljen, odgovor BIRODI-ja je da će izveštaj biti gotov "u skladu s kapacitetima" i da vremenski nije ograničen. Istovremeno, navode da je model koji koriste deo razvoja novog alata i da su potrebna dodatna metodološka testiranja.

To praktično znači da metodologija još nije u potpunosti razvijena, iako su rezultati već predstavljeni javnosti. Uobičajena istraživačka praksa podrazumeva suprotan redosled - prvo jasno definisanu metodologiju, a zatim objavljivanje nalaza.

BIRODI u svojim odgovorima ističe da je cilj bio da se izbegne "ljudski faktor" korišćenjem veštačke inteligencije. Međutim, bez dodatne kontrole i validacije, takav pristup ne eliminiše mogućnost pristrasnosti, već je čini teže uočljivom i proverljivom.

Metodologija eksperimentalna, rezultati predstavljeni kao naučni

Na osnovu svih dostavljenih pojašnjenja, može se zaključiti da je analiza sprovedena kao eksperimentalna primena AI alata, bez unapred definisanih kriterijuma, bez ljudske verifikacije i bez mogućnosti nezavisne provere rezultata. Uprkos tome, nalazi su predstavljeni kao relevantna ocena medijskog izveštavanja!

Slučaj BIRODI otvara važno pitanje granice između istraživanja i eksperimenta. Uvođenje novih tehnologija u analizu medija može predstavljati znatan napredak, ali samo ukoliko je praćeno jasnim metodološkim pravilima, transparentnošću i proverljivošću. U suprotnom, postoji rizik da se rezultati koji su deo razvoja alata predstave kao konačni zaključci, što dovodi u zabludu i stručnu i širu javnost.

Zaključci proistekli iz ovog pseudonaučnog eksperimenta predstavljaju direktan atak na reputaciju i kredibilitet Kurira kao medija, što je i bio ključni motiv projekta koji "niko nije finansirao", niti verifikovao. Postavlja se pitanje u čijem je onda interesu BIRODI poveo medijsku hajku protiv naše kompanije, posebno imajući u vidu da se naši poslovni interesi nigde ne ukrštaju niti sudaraju.

PITANJA I ODGOVORI

PREPISKA KOJA JE ISTERALA NA ČISTAC PSEUDONAUČNU METODOLOGIJU BIRODI-ja

U želji da dobijemo pojašnjenja u vezi sa uočenim metodološkim nedostacima analize koju je objavio BIRODI, redakcija Kurira je na adresu ove organizacije uputila dva seta pitanja. Naša pitanja i odgovore koje nam je u ime BIRODI-ja poslao Zoran Gavrilović prenosimo u celini.

1. U izveštaju se ne navodi jasan metodološki okvir. Na osnovu čega javnost treba da veruje da su rezultati objektivni i proverljivi?

BIRODI je od 2025. počeo da razvija BEMS - BIRODI evaluator medijskog sadržaja. On ima 40 indikatora. Za ovo istraživanje smo koristili sledeće: prisustvo druge strane, etiketiranje, ton izveštavanja, profesionalna funkcija sadržaja nasuprot promociji/propagandi/etiketiranju, izvori i način predstavljanja aktera.

Analizu je uradila AI. Urađena je provera putem statističkih testova. Crombah index je 0,91, što znači da ovi indikatori mere predmet istraživanja. Ovo nam je jako bitno, jer radimo na razvijanju alata. Objavljeni tekst je saopštenje o preliminarnim nalazima dnevnog monitoringa, a ne puni metodološki izveštaj. Iz javno dostupne objave vidi se da je BIRODI sprovodio dnevnu analizu izveštavanja medija o lokalnim izborima. Legitimno je tražiti dodatno metodološko pojašnjenje. Ona će biti deo našeg detaljnog izveštaja.

2. Kako ste obezbedili da ocenjivanje po kriterijumima poput "etiketiranja" ili "prisustva druge strane" ne bude rezultat subjektivne procene analitičara? Da li postoje precizni, unapred definisani standardi i da li su javno dostupni?

Što se tiče etiketiranja, sam program mapira i izbacuje etikete i govor mržnje i oni se računaju pri izradi indeksa. Ista je procedura što se tiče pravila druge strane, ono se meri preko aktera koji jesu ili nisu tekstu, a tema se odnosi na njih. To je obaveza po Kodeksu novinara Srbije i Pravilnika o zaštiti ljudskih prava u oblasti pružanja medijskih usluga član 8.

3. Na koji način opravdavate izvođenje zaključaka o "integritetu izbornog izveštavanja" na osnovu analize koja obuhvata samo prvih osam sati izbornog dana, bez uvida u ključne periode kampanje i izborne večeri?

Kao sto sam vam rekao u razgovoru, uzeli smo 12 sajtova, među njima i Kurir, deo posvećen izborima, odnosno linkove i s napred navedenim indikatorima stavili u GTP, koji je napravio analizu za naznačeno vreme. Nalazi se odnose na navedeno vreme, a ne kao konačna ocena ukupnog izbornog izveštavanja. Jasno smo naveli da se analiza odnosi na prvih osam sati izbornog dana, što znači da njen domašaj mora biti ograničen upravo na taj interval. Drugim rečima, na osnovu tog uzorka može se govoriti o integritetu izveštavanja u prvih osam sati izbornog dana, ali ne i o celokupnoj kampanji, izbornoj tišini, zatvaranju biračkih mesta i izbornoj večeri.

4. Zašto u analizi nije razmatrana politička i uređivačka pristrasnost u smislu selekcije tema i framinga, već se fokus stavlja gotovo isključivo na jezik i ton? Da li to znači da se određeni oblici pristrasnosti implicitno tolerišu?

Svako istraživanje ima svoje indikatore. Mi smo se ovog puta opredelili za navedene.

Vaši predlozi su legitimi, ali je potrebna operacionalizacija koja bi ih učinila preciznim.

Ono sto mogu sad da kažem jeste da je iz postojećih indikatora moguće posredno doći do političke, odnosno partijske pristrasnosti uređivačke politike. (Analiza aktera, etikeitranja, tonaliteta...) Alat koji razvijamo daje nam tu mogućnost, ali za to je potrebno vreme.

5. Kako objašnjavate činjenicu da su pojedini mediji visoko ocenjeni uprkos očiglednoj političkoj profilisanosti, dok su drugi sankcionisani prvenstveno zbog stila izražavanja? Da li smatrate da ovakav pristup uvodi dvostruke standarde u proceni medijskog integriteta?

BIRODI je NVO koji se bavi monitoringom medija. Naš interes je da svoje podatke dobijemo na osnovu stručnih i profesionalnih postupaka, koji su naučno verifikovani. Naravno da se uvek može dovesti u pitanje dobijen nalaz i kao takav biti deo stručne rasprave. Tako i vidim vaše pitanje. Bilo bi dobro da nam date istraživanja koja će nam pomoći u debati o našim nalazima.

U ovom istraživanju smo postavili indikatore koji su operacionalizacija Kodeksa novinara Srbije i Pravilnika o zaštiti ljudskih prava u oblasti pružanja medijskih usluga. Što se tiče finansiranja istraživanja, ovo je nefinansirana aktivnost od bilo koga i deo je rada na unapređenju istraživačkih kapaciteta BIRODI-ja. Objava rezultata u javnosti je u funkciji debate o stanju u medijima. Ove nalaze, kojih će sve više biti, treba gledati kao podršku profesionalnom novinarstvu, jer kako reče nedavno upokojeni Jirgen Habermas, bez javnosti nema države. Ja bih dodao javnost bez slobodnih medija i profesionalnih novinara i istraživača ne postoji.

ZBOG NEPOTPUNIH ODGOVORA REDAKCIJA KURIRA TRAŽILA JE DODATNA POJAŠNJENJA

Zbog nepotpunih odgovora koje smo dobili nakon prvog seta naših pitanja, redakcija Kurira je zatražila dodatna metodološka pojašnjenja od organizacije BIRODI, čije odgovore objavljujemo u nastavku:

1. S obzirom na to da je u javnosti već objavljena evaluacija medija, a da metodološki okvir još uvek nije u potpunosti predstavljen: Kad će kompletan metodološki izveštaj biti javno dostupan? Da li smatrate da je metodološki opravdano i legitimno iznositi vrednosne sudove o "integritetu izveštavanja" pre objavljivanja detaljne metodologije koja omogućava proveru i reprodukciju nalaza?

Izveštaj će biti gotov u skladu s kapacitetima BIRODI-ja, pošto ovo nije deo redovnih aktivnosti koje su podržane od bilo kojeg donatora ili naručioca, već deo volonterskih aktivnosti, koje vremenski nisu ograničene. Realizovani model istraživanja služi kreiranju novog alata na kojem se radi. Potrebno je uraditi dodatna metodološka testiranja. U saopštenju nisu izneti nikakvi vrednosni sudovi, u akseoološkom smislu, već rezultati istraživanja. Podaci o metodologiji su objavljeni u saopštenju, a to znači da su objavljeni indikatori, vreme i uzorak sajtova koji su bili predmet istraživanja.

Da ponovim. Predmet analize su bili: prisustvo druge strane (pluralizam), odsustvo etiketiranja, odsustvo govora mržnje. Indeks se kreće od 0 do 5, gde veća vrednost znači veći integritet izveštavanja.

2. Naveli ste da je analiza sprovedena uz pomoć AI alata (GPT): Koji prompt ili skup instrukcija je korišćen za analizu sadržaja? Na koji način je izvršena validacija rezultata, koji je AI generisan i da li su rezultati proveravali analitičari? Ako jesu, na koji način?

U saopštenju je navedeno šta je mereno. Traženo je da GTP utvrdi da li u analiziranim tekstovima postoje druga strana, etiketiranje i govor mržnje. Kao što je navedeno u saopštenju, urađena je samo AI analiza.

3. U odgovoru ste naveli da AI "mapira etiketiranje i govor mržnje". Koja je precizna definicija "etiketiranja" u ovom istraživanju? Da li postoji unapred definisana lista termina, kriterijuma ili kodna knjiga (codebook)? Kako se tretiraju kontekstualni slučajevi (npr. citati, ironija, prenošenje tuđih izjava)?

Etiketiranje i govor mržnje nisu unapred definisani, to je sam AI uradio mapirajući govor mržnje. Ideja je bila da AI sama definiše i mapira etiketiranje i govor mržnje kako bi izbegli ljudski faktor u mapiranju etiketiranja i govora mržnje.

4. Kad govorite o indikatoru "prisustvo druge strane", navodite da se ovaj indikator meri prisustvom aktera u tekstu. Da li metodologija uzima u obzir kvantitet i kontekst prisustva (npr. odnos prostora, tonalitet, način predstavljanja)? Na koji način razlikujete formalno prisustvo aktera od suštinskog balansa u izveštavanju?

Pojam druge strane je tretiran u kontekstu člana 8 Pravilnika o zaštiti ljudskih prava u oblasti pružanja usluga.

5. Navodite da Cronbach's alpha iznosi 0,91. Da li ovaj pokazatelj potvrđuje validnost merenja ili isključivo internu konzistentnost indikatora? Na koji način je testirana validnost konstrukta "integritet izveštavanja" i kako je taj pojam definisan u ovom istraživanju? Koji indikatori direktno mere taj koncept, a ne njegove posredne aspekte?

Cronbach's alpha 0,91 govori o internoj konzistentnosti skale, ali ne dokazuje sam po sebi validnost konstrukta. Konstrukt "integritet izveštavanja" je teorijski pojam koji je putem indikatora operacionalizovan i tako se došlo skale koje Cronbah's aplfa testira.

6. Kako objašnjavate to što su u javnosti izneti širi evaluativni sudovi o medijima, uprkos jasno ograničenom vremenskom okviru analize (prvih osam sati izbornog dana)? Da li smatrate da takva interpretacija može dovesti do preširokih zaključaka u odnosu na dostupne podatke?

Kao što se može videti iz saopštenja, zaključci se odnose na vreme posmatranja navedenih sajtova.

7. Kako objašnjavate razlike u ocenama između medija koji imaju jasno profilisanu uređivačku politiku? Da li metodologija pravi razliku između stila izražavanja i strukturne (npr. tematske ili framing) pristrasnosti?

Ovo se pitanje ponavlja. Nije mi jasno šta znači pojam profilisana uređivačka politika.

Moj stav je da svaki medij ima svoju profilisanu uređivačku politiku za određeni deo svoje publike kako bi obezbedio svoju održivost. Bitno je da li je ona u skladu s Kodeksom novinara Srbije i medijskim zakonima, odnosno u skladu sa članom 50 Ustava Republike Srbije. Nakon 14 godina monitoringa medija i istraživanja publike napravio sam kategorizaciju medija u Srbiji na: profesionalne medije, biltene, tabloide, advocate, promoter, propagandiste, perjanike. Alat na kojem radim ima za cilj da meri kojem tipu medija pripada određeni medij u Srbiji.