Az AI-verseny az elmúlt években jórészt arról szólt, ki tud nagyobb, komplexebb és általánosabb modellt építeni. A TypeSafe Jev modellje ezzel szemben egészen más irányból közelíti meg a kérdést. Abból indul ki, hogy a vállalati AI-feladatok jelentős részénél nincs szükség hosszú válaszokra vagy összetett szöveges érvelésre, elég egy gyors, strukturált döntés. A Fintech Világa legutóbbi adásában Érczfalvi András műsorvezető és Siklós Bence, a Peak tanácsadója arról beszélgetett, lehet-e ebből egy új AI-architektúra alapja.
A Jev nem beszélgetni akar, hanem dönteni
A Jevet nem érdemes közvetlenül a ChatGPT-hez vagy a Claude-hoz hasonlítani. Nem ugyanazt a feladatot próbálja megoldani.
Egy klasszikus nagy nyelvi modellnek feltehetjük azt a kérdést, hogy egy tranzakció gyanús-e, majd részletes magyarázatot kérhetünk tőle. A Jev esetében inkább azt mondjuk: döntse el, hogy a tranzakció normál, gyanús vagy manuális ellenőrzést igényel. Nincs szükség embernek szánt magyarázatra, csak egy strukturált eredményre és az ahhoz kapcsolódó valószínűségre.
Ez azért lehet fontos, mert rengeteg vállalati AI-feladat valójában nem generatív. Egy banknál vagy fintech cégnél sokszor sokkal fontosabb az, hogy egy rendszer néhány ezredmásodperc alatt eldöntse, engedélyezzen-e egy tranzakciót, továbbítsa-e az ügyet vizsgálatra, vagy melyik folyamatba irányítsa tovább. A Jev tehát elsősorban nem a végfelhasználókért versenyez. Sokkal inkább azokért a háttérben futó API-hívásokért, amelyeket ma gyakran jóval nagyobb modellek kezelnek.
Jev: olcsóbb és gyorsabb, de ettől még nem tévedhetetlen
A TypeSafe egyik legerősebb érve a költség. A Jev ára jelenleg 0,042 dollár egymillió input tokenenként, miközben output tokenekért nem számít fel külön díjat. Ez jelentős különbséget jelenthet a nagy nyelvi modellekhez képest, különösen akkor, ha egy vállalat napi több millió egyszerű döntést futtat át a rendszeren.
A másik előny a sebesség lehet. Ha egy modellnek nem kell hosszú szöveget generálnia és több lépésen keresztül érvelnie, akkor egyszerűbb döntési feladatoknál jóval gyorsabban adhat eredményt.
A biztonság azonban árnyaltabb kérdés. A Jev egyik kommunikált előnye, hogy nem hallucinál a klasszikus értelemben, hiszen nem állít elő hosszú szövegeket, nem talál ki neveket vagy hamis forrásokat. Ettől azonban még hozhat rossz döntést.
Az adásban elhangzott példa szerint a modell egy süteményreceptet 94 százalékos bizonyossággal technikai problémának kategorizált. Egy véletlenszerű betűsorra pedig 97 százalékos magabiztossággal adott valamilyen választ. Ez jól mutatja a különbséget a hallucináció és a hibás döntés között: attól, hogy egy modell nem talál ki történeteket, még nem lesz automatikusan pontos.
A bankoknál különösen sok ilyen feladat akad
A Jevhez hasonló megoldások egyik legkézenfekvőbb terepe a pénzügyi szektor lehet. Bankoknál és fintech cégeknél naponta óriási mennyiségű, viszonylag egyszerű döntést kell meghozni: tranzakciókat kategorizálni, KYC-dokumentumokat továbbítani, ügyfélszolgálati megkereséseket megfelelő csatornába irányítani vagy csalásgyanús eseményeket előszűrni.
Ezeknél a feladatoknál a költség és a válaszidő is kritikus. Egy chatbot esetében a felhasználó még elviselhet néhány másodperc várakozást, egy valós idejű fizetési vagy fraud detection rendszerben viszont már milliszekundumok is számíthatnak.
Ebből könnyen kialakulhat egy többszintű rendszer. A legegyszerűbb döntéseket egy Jevhez hasonló modell kezeli, a bonyolultabb ügyeket egy kisebb általános modellhez továbbítja, a komplex elemzéseket pedig egy nagyobb frontier modell végzi. A legkritikusabb esetek végül emberhez kerülhetnek.
Nem biztos, hogy új matematikáról van szó
A Jev mögötti alapgondolat önmagában nem teljesen új. Gépi tanulásban régóta léteznek klasszifikációs modellek, amelyek feladata nem szövegek generálása, hanem adatok kategóriákba rendezése.
A beszélgetésben elhangzott, hogy korábbi tesztekben néhány száz címkézett adat segítségével hagyományosabb klasszifikációs megoldások is közel tudtak kerülni a Jev teljesítményéhez. Emiatt elképzelhető, hogy a TypeSafe legfontosabb újítása nem egy teljesen új matematikai alapelv, hanem az, hogy a foundation modellek általános képességeit sikerült egy nagyon szűk, olcsó és fejlesztőbarát döntési termékbe csomagolnia.
Egy nagyobb független vizsgálatban 346 ezer lekérdezést futtattak a modellen különböző adathalmazokon. A klasszifikációs feladatoknál 95–99 százalék közötti pontosságot értek el, miközben a teljes lekérdezési költség 10 dollár alatt maradt. Ez nem azt jelenti, hogy a Jev minden feladatban olcsóbb vagy jobb lenne a nagy nyelvi modelleknél. Egy szűk feladattípusban viszont valóban jelentős hatékonysági előnyt kínálhat.
A nagy változás a model routing lehet
A Jev igazi jelentőségét talán nem is maga a modell, hanem az általa népszerűsített szemlélet adja. Az OpenAI, az Anthropic vagy más nagy szolgáltatók számára nem feltétlenül az a legnagyobb veszély, hogy egy kisebb szereplő közvetlenül legyőzi a csúcsmodelljeiket. Sokkal fontosabb lehet az a felismerés, hogy a vállalatoknak egyáltalán nem kell minden feladatot ugyanazzal a modellel megoldaniuk.
A következő évek AI-infrastruktúrája ezért könnyen a model routing köré épülhet. Egyszerű kategorizáláshoz egy olcsó döntési modellt használ a rendszer, ügyfélszolgálati válaszhoz egy kisebb LLM-et, összetett pénzügyi elemzéshez pedig egy nagy frontier modellt. Olyan ez, mint egy szerszámosláda: nem ugyanazzal az eszközzel próbálunk mindent megoldani.
A Jev jövője persze még messze nem lefutott. Fontos kérdés, hogy hosszú távon mennyire pontos, mennyire jól kalibrálja saját bizonytalanságát, fenntartható-e a jelenlegi alacsony ára, milyen könnyen másolhatják le a konkurensek, és hajlandók-e a vállalatok valóban újratervezni jelenlegi AI-architektúrájukat.
Ha azonban a cégek elkezdik szétválasztani a szöveggenerálást, az érvelést, a döntéshozatalt és a routingot, akkor a következő AI-verseny már nem feltétlenül arról szól majd, kié a legerősebb modell. Sokkal inkább arról, ki tudja a megfelelő feladathoz a megfelelő modellt a lehető leghatékonyabban hozzárendelni.
A teljes adás az alábbi Spotify linken érhető el.
