Upoznajte Jev: 200 puta brži od ChatGPT, ne piše tekst već odlučuje
Većina ljudi danas veštačku inteligenciju zamišlja kroz ChatGPT, Gemini ili Claude: napišete pitanje, model razmisli i vrati vam odgovor. Nova generacija AI sistema ide u potpuno drugom smeru. Umesto da potroši vreme na pisanje rečenica koje će pročitati čovek, model dobija zadatak da donese odluku koju računar može odmah da sprovede. Da li je zahtev hitan, da li je transakcija rizična, kome treba proslediti poruku ili da li neki odgovor može da bude pušten korisniku u takvim situacijama nije vam potreban još jedan tekst, već precizan rezultat.
Upravo na toj ideji zasnovan je Jev, novi model kompanije TypeSafe AI. On nije napravljen da bude novi ChatGPT i nema ambiciju da piše članke, vodi razgovore ili generiše kod. Njegov posao je mnogo uži, ali potencijalno veoma važan za softver koji koristi AI u velikom obimu: da iz dostupnih podataka izvuče strukturisanu odluku i vrati je aplikaciji. Umesto da AI kaže „zahtev deluje hitno jer...“, Jev može jednostavno da vrati odluku da je zahtev hitan, uz procenu verovatnoće, pa sistem odmah može da ga pošalje na pravo mesto.
Jev ne razmišlja da bi vam nešto ispričao
Razlika postaje jasnija kada se isti problem postavi klasičnom LLM-u i Jevu. Ako pitate veliki jezički model „Da li je ovaj zahtev hitan?“, dobićete odgovor napisan prirodnim jezikom. To je korisno kada čovek želi objašnjenje, ali aplikaciji često nije potrebno nekoliko pasusa. Njoj treba jedna vrednost koju može da pročita i odmah iskoristi. Jev zato radi sa unapred definisanim opcijama i vraća strukturisan rezultat, umesto da generiše tekst token po token.
Recimo da kupac pošalje poruku: „Paket mi je stigao oštećen i želim povraćaj novca.“ LLM može da napiše kompletan odgovor kupcu, ali Jev može da iz istog sadržaja izvuče samo ono što je potrebno ostatku sistema: odeljenje - reklamacije, prioritet - visok, provera povraćaja - da. U velikoj internet prodavnici, gde ovakvih poruka može biti na hiljade, razlika je ogromna. AI ne mora svaki put da „priča“ sa sistemom; dovoljno je da mu kaže šta treba da uradi.
Brzina je glavna stvar
Jev trenutno podržava tri osnovna načina donošenja odluka. Choice bira jednu opciju sa unapred definisane liste, recimo prodaja, tehnička podrška ili ljudski operater. Score daje ocenu na određenoj skali, što može da se koristi za hitnost ili procenu rizika. Noul je odluka tipa da ili ne, poput pitanja da li je određena akcija bezbedna ili da li odgovor ispunjava zadati kriterijum. Više takvih pitanja može se postaviti nad istim podacima u jednom pozivu, što je posebno korisno kada softver mora da obradi ogroman broj malih odluka.
Tu dolazi do izražaja razlog zbog kojeg je Jev napravljen kao zaseban model. Klasični LLM generiše odgovor deo po deo, dok Jev treba da vrati strukturisanu odluku. TypeSafe navodi vreme odgovora od oko 70 do 500 milisekundi, kao i do 193,6 puta brže izvršavanje određenih AI workflowa u sopstvenim testovima. LangChain je preneo i TypeSafeovu tvrdnju o do 200 puta bržem izvršavanju i do 400 puta nižoj ceni u određenim poređenjima. Te brojke, naravno, ne znače da je Jev univerzalno stotine puta brži od ChatGPT-a porede se specifični zadaci klasifikacije i odlučivanja, a ne kompletan rad AI modela.
Jev bi mogao da bude kontrolor drugih AI modela
Još zanimljivija postaje njegova uloga kada se ne koristi samostalno, već pored velikog jezičkog modela. Zamislite AI agenta koji dobije zadatak da pronađe informaciju, koristi nekoliko alata i zatim pripremi odgovor. LLM može da bude „mozak“ koji rešava složene delove posla, dok Jev u pozadini proverava male, ali važne odluke: da li treba koristiti dodatni alat, da li pokušaj treba ponoviti, da li je zahtev dovoljno jednostavan za jeftiniji model ili je vreme da se uključi čovek.
Jev može da posluži i kao poslednja kontrola pre nego što rezultat drugog AI modela stigne do korisnika. LLM napiše odgovor, a Jev proverava da li prati zadati format, da li je prihvatljiv i da li postoji razlog da ga pregleda čovek. Tako dobija se sistem u kojem veliki model generiše, Jev proverava, a klasičan softver izvršava odluku. To je sasvim drugačiji pristup od ideje da jedan veliki AI model mora da radi baš sve.
Mali model za ogroman broj odluka
Cena je još jedan razlog zbog kojeg bi ovakav pristup mogao da bude zanimljiv kompanijama. TypeSafe navodi cenu od oko 0,042 dolara za milion ulaznih tokena, dok se izlaz ne naplaćuje na isti način kao kod klasičnih modela jer Jev ne generiše konvencionalan tekst. Kada sistem mora da donese desetine hiljada ili milione jednostavnih odluka, razlika u troškovima može veoma brzo da postane važna. Umesto da se veliki i skuplji model koristi za svaku sitnicu, jednostavniji zadaci mogu da se prebace specijalizovanom modelu.
Zbog toga Jev nije zamišljen kao zamena za ChatGPT, Gemini ili Claude, već kao njihov potencijalni radni partner u pozadini. Veliki LLM može da se bavi pisanjem, analizom i složenim rezonovanjem, dok Jev preuzima ponavljajuće odluke koje moraju da budu brze i strukturisane. Njegova primena može da obuhvati klasifikaciju sadržaja, procenu rizika, izbor modela, proveru AI odgovora, automatizaciju workflowa i kontrolu agenata.
Ako se ovaj pristup proširi, budućnost AI sistema možda neće izgledati kao jedan ogroman model koji pokušava da radi sve. Umesto toga, različiti modeli mogli bi da imaju različite poslove: jedan razmišlja, drugi odlučuje, treći izvršava konkretan zadatak, a klasičan softver sprovodi konačnu akciju. ChatGPT vam daje odgovor. Jev daje odluku koju računar može odmah da sprovede. Upravo u toj razlici TypeSafe pokušava da napravi novu kategoriju AI modela.
Zabranjeno preuzimanje dela ili čitavog teksta i/ili foto/videa, bez navođenja i linkovanja izvora i autora, a u skladu sa odredbama WMG uslova korišćenja i Zakonom o javnom informisanju i medijima.
