BIRODI PRIZNAO: Medije istraživao AI, nije bilo ljudske provere rezultata SKANDALOZNO OBJAŠNJENJE ORGANIZATORA ISTRAŽIVANJA

Nakon prvog seta legitimnih pitanja koje smo poslali organizaciji BIRODI, dobili smo odgovore koji su suštinski predstavljali pokušaj izbegavanja razjašnjavanja svih nedoumica koje prate objavljenu analizu ove organizacije. Nakon drugog seta pitanja stvari smo napokon isterali na čistac, a BIRODI je bio primoran da prizna da je u pitanju pseudonaučni eksperiment, a ne naučno validna metoda istraživanja koja je prošla nezavisnu kontrolu i potvrdu. Kompletna pitanja i odgovore koje smo dobili pročitajte na kraju teksta.

PREPISKA KOJA JE ISTERALA NA ČISTAC PSEUDONAUČNU METODOLOGIJU BIRODI-ja

U želji da dobijemo pojašnjenja u vezi sa uočenim metodološkim nedostacima analize koju je objavio BIRODI, redakcija Kurira je na adresu ove organizacije uputila dva seta pitanja. Naša pitanja i odgovore koje nam je u ime BIRODI-ja poslao Zoran Gavrilović prenosimo u celini.

1. U izveštaju se ne navodi jasan metodološki okvir. Na osnovu čega javnost treba da veruje da su rezultati objektivni i proverljivi?

BIRODI je od 2025. počeo da razvija BEMS - BIRODI evaluator medijskog sadržaja. On ima 40 indikatora. Za ovo istraživanje smo koristili sledeće: prisustvo druge strane, etiketiranje, ton izveštavanja, profesionalna funkcija sadržaja nasuprot promociji/propagandi/etiketiranju, izvori i način predstavljanja aktera.

Analizu je uradila AI. Urađena je provera putem statističkih testova. Crombah index je 0,91, što znači da ovi indikatori mere predmet istraživanja. Ovo nam je jako bitno, jer radimo na razvijanju alata. Objavljeni tekst je saopštenje o preliminarnim nalazima dnevnog monitoringa, a ne puni metodološki izveštaj. Iz javno dostupne objave vidi se da je BIRODI sprovodio dnevnu analizu izveštavanja medija o lokalnim izborima. Legitimno je tražiti dodatno metodološko pojašnjenje. Ona će biti deo našeg detaljnog izveštaja.

2. Kako ste obezbedili da ocenjivanje po kriterijumima poput "etiketiranja" ili "prisustva druge strane" ne bude rezultat subjektivne procene analitičara? Da li postoje precizni, unapred definisani standardi i da li su javno dostupni?

Što se tiče etiketiranja, sam program mapira i izbacuje etikete i govor mržnje i oni se računaju pri izradi indeksa. Ista je procedura što se tiče pravila druge strane, ono se meri preko aktera koji jesu ili nisu tekstu, a tema se odnosi na njih. To je obaveza po Kodeksu novinara Srbije i Pravilnika o zaštiti ljudskih prava u oblasti pružanja medijskih usluga član 8.

3. Na koji način opravdavate izvođenje zaključaka o "integritetu izbornog izveštavanja" na osnovu analize koja obuhvata samo prvih osam sati izbornog dana, bez uvida u ključne periode kampanje i izborne večeri?

Kao sto sam vam rekao u razgovoru, uzeli smo 12 sajtova, među njima i Kurir, deo posvećen izborima, odnosno linkove i s napred navedenim indikatorima stavili u GTP, koji je napravio analizu za naznačeno vreme. Nalazi se odnose na navedeno vreme, a ne kao konačna ocena ukupnog izbornog izveštavanja. Jasno smo naveli da se analiza odnosi na prvih osam sati izbornog dana, što znači da njen domašaj mora biti ograničen upravo na taj interval. Drugim rečima, na osnovu tog uzorka može se govoriti o integritetu izveštavanja u prvih osam sati izbornog dana, ali ne i o celokupnoj kampanji, izbornoj tišini, zatvaranju biračkih mesta i izbornoj večeri.

4. Zašto u analizi nije razmatrana politička i uređivačka pristrasnost u smislu selekcije tema i framinga, već se fokus stavlja gotovo isključivo na jezik i ton? Da li to znači da se određeni oblici pristrasnosti implicitno tolerišu?

Svako istraživanje ima svoje indikatore. Mi smo se ovog puta opredelili za navedene.

Vaši predlozi su legitimi, ali je potrebna operacionalizacija koja bi ih učinila preciznim.

Ono sto mogu sad da kažem jeste da je iz postojećih indikatora moguće posredno doći do političke, odnosno partijske pristrasnosti uređivačke politike. (Analiza aktera, etikeitranja, tonaliteta...) Alat koji razvijamo daje nam tu mogućnost, ali za to je potrebno vreme.

5. Kako objašnjavate činjenicu da su pojedini mediji visoko ocenjeni uprkos očiglednoj političkoj profilisanosti, dok su drugi sankcionisani prvenstveno zbog stila izražavanja? Da li smatrate da ovakav pristup uvodi dvostruke standarde u proceni medijskog integriteta?

BIRODI je NVO koji se bavi monitoringom medija. Naš interes je da svoje podatke dobijemo na osnovu stručnih i profesionalnih postupaka, koji su naučno verifikovani. Naravno da se uvek može dovesti u pitanje dobijen nalaz i kao takav biti deo stručne rasprave. Tako i vidim vaše pitanje. Bilo bi dobro da nam date istraživanja koja će nam pomoći u debati o našim nalazima.

U ovom istraživanju smo postavili indikatore koji su operacionalizacija Kodeksa novinara Srbije i Pravilnika o zaštiti ljudskih prava u oblasti pružanja medijskih usluga. Što se tiče finansiranja istraživanja, ovo je nefinansirana aktivnost od bilo koga i deo je rada na unapređenju istraživačkih kapaciteta BIRODI-ja. Objava rezultata u javnosti je u funkciji debate o stanju u medijima. Ove nalaze, kojih će sve više biti, treba gledati kao podršku profesionalnom novinarstvu, jer kako reče nedavno upokojeni Jirgen Habermas, bez javnosti nema države. Ja bih dodao javnost bez slobodnih medija i profesionalnih novinara i istraživača ne postoji.

ZBOG NEPOTPUNIH ODGOVORA REDAKCIJA KURIRA TRAŽILA JE DODATNA POJAŠNJENJA

Zbog nepotpunih odgovora koje smo dobili nakon prvog seta naših pitanja, redakcija Kurira je zatražila dodatna metodološka pojašnjenja od organizacije BIRODI, čije odgovore objavljujemo u nastavku:

1. S obzirom na to da je u javnosti već objavljena evaluacija medija, a da metodološki okvir još uvek nije u potpunosti predstavljen: Kad će kompletan metodološki izveštaj biti javno dostupan? Da li smatrate da je metodološki opravdano i legitimno iznositi vrednosne sudove o "integritetu izveštavanja" pre objavljivanja detaljne metodologije koja omogućava proveru i reprodukciju nalaza?

Izveštaj će biti gotov u skladu s kapacitetima BIRODI-ja, pošto ovo nije deo redovnih aktivnosti koje su podržane od bilo kojeg donatora ili naručioca, već deo volonterskih aktivnosti, koje vremenski nisu ograničene. Realizovani model istraživanja služi kreiranju novog alata na kojem se radi. Potrebno je uraditi dodatna metodološka testiranja. U saopštenju nisu izneti nikakvi vrednosni sudovi, u akseoološkom smislu, već rezultati istraživanja. Podaci o metodologiji su objavljeni u saopštenju, a to znači da su objavljeni indikatori, vreme i uzorak sajtova koji su bili predmet istraživanja.

Da ponovim. Predmet analize su bili: prisustvo druge strane (pluralizam), odsustvo etiketiranja, odsustvo govora mržnje. Indeks se kreće od 0 do 5, gde veća vrednost znači veći integritet izveštavanja.

2. Naveli ste da je analiza sprovedena uz pomoć AI alata (GPT): Koji prompt ili skup instrukcija je korišćen za analizu sadržaja? Na koji način je izvršena validacija rezultata, koji je AI generisan i da li su rezultati proveravali analitičari? Ako jesu, na koji način?

U saopštenju je navedeno šta je mereno. Traženo je da GTP utvrdi da li u analiziranim tekstovima postoje druga strana, etiketiranje i govor mržnje. Kao što je navedeno u saopštenju, urađena je samo AI analiza.

3. U odgovoru ste naveli da AI "mapira etiketiranje i govor mržnje". Koja je precizna definicija "etiketiranja" u ovom istraživanju? Da li postoji unapred definisana lista termina, kriterijuma ili kodna knjiga (codebook)? Kako se tretiraju kontekstualni slučajevi (npr. citati, ironija, prenošenje tuđih izjava)?

Etiketiranje i govor mržnje nisu unapred definisani, to je sam AI uradio mapirajući govor mržnje. Ideja je bila da AI sama definiše i mapira etiketiranje i govor mržnje kako bi izbegli ljudski faktor u mapiranju etiketiranja i govora mržnje.

4. Kad govorite o indikatoru "prisustvo druge strane", navodite da se ovaj indikator meri prisustvom aktera u tekstu. Da li metodologija uzima u obzir kvantitet i kontekst prisustva (npr. odnos prostora, tonalitet, način predstavljanja)? Na koji način razlikujete formalno prisustvo aktera od suštinskog balansa u izveštavanju?

Pojam druge strane je tretiran u kontekstu člana 8 Pravilnika o zaštiti ljudskih prava u oblasti pružanja usluga.

5. Navodite da Cronbach's alpha iznosi 0,91. Da li ovaj pokazatelj potvrđuje validnost merenja ili isključivo internu konzistentnost indikatora? Na koji način je testirana validnost konstrukta "integritet izveštavanja" i kako je taj pojam definisan u ovom istraživanju? Koji indikatori direktno mere taj koncept, a ne njegove posredne aspekte?

Cronbach's alpha 0,91 govori o internoj konzistentnosti skale, ali ne dokazuje sam po sebi validnost konstrukta. Konstrukt "integritet izveštavanja" je teorijski pojam koji je putem indikatora operacionalizovan i tako se došlo skale koje Cronbah's aplfa testira.

6. Kako objašnjavate to što su u javnosti izneti širi evaluativni sudovi o medijima, uprkos jasno ograničenom vremenskom okviru analize (prvih osam sati izbornog dana)? Da li smatrate da takva interpretacija može dovesti do preširokih zaključaka u odnosu na dostupne podatke?

Kao što se može videti iz saopštenja, zaključci se odnose na vreme posmatranja navedenih sajtova.

7. Kako objašnjavate razlike u ocenama između medija koji imaju jasno profilisanu uređivačku politiku? Da li metodologija pravi razliku između stila izražavanja i strukturne (npr. tematske ili framing) pristrasnosti?

Ovo se pitanje ponavlja. Nije mi jasno šta znači pojam profilisana uređivačka politika.

Moj stav je da svaki medij ima svoju profilisanu uređivačku politiku za određeni deo svoje publike kako bi obezbedio svoju održivost. Bitno je da li je ona u skladu s Kodeksom novinara Srbije i medijskim zakonima, odnosno u skladu sa članom 50 Ustava Republike Srbije. Nakon 14 godina monitoringa medija i istraživanja publike napravio sam kategorizaciju medija u Srbiji na: profesionalne medije, biltene, tabloide, advocate, promoter, propagandiste, perjanike. Alat na kojem radim ima za cilj da meri kojem tipu medija pripada određeni medij u Srbiji.