A mesterséges intelligenciáról manapság már sokszor úgy beszélünk, mintha a szövegek és a képek kezelésének a világa már magától értetődően zseniálisan működne. Egy banki ügyintéző szemével nézve azonban a mindennapi valóság inkább az, hogy a legértékesebb információk még mindig az AI által nehezen kezelhető PDF oldalakba, szkennelt nyomtatványokba, táblázatokba és aláírt szerződésekbe vannak zárva. A modellek egyre erősebbek, a vállalati tudás jelentős része viszont továbbra is olyan formában él, ahol a jelentést nem csak a szöveg, hanem az elrendezés, a táblázat szerkezete, a grafikon felirata és a mezők egymáshoz viszonyított helye is hordozza ami nagy kihívást jelent a mai technológiák számára. Ezt a promblémát teszi a középpontba egy friss áttekintő tanulmány, amely a vizuális dokumentum visszakeresés területét foglalja rendszerbe a multimodális nagy nyelvi modellek korszakában.
A fintech valóság, amikor a dokumentum nem kép és nem szöveg
A tanulmány egyik legfontosabb üzenete, hogy a vizuális dokumentumok nagyon mások, mint a természetes képek. Egy fotónál gyakran elég azt megérteni, hogy mi látható rajta nagy vonalakban. Egy dokumentumnál viszont a jelentés sűrű, rétegzett, és a szöveg és a vizuális struktúra együtt adja ki a lényeget. A szerzők azt is kiemelik, hogy a keresési igény sokszor aprólékos, mert a felhasználó nem egy témát keres, hanem egy konkrét mondatot, egy táblázat celláját, vagy például egy jelentés egy meghatározott fejezetét.
Fintech környezetben ennek azonnal kézzelfogható a tétje. Egy hitelbírálati csomagban lehet, hogy a jövedelem igazolás szövege pontos, de a döntést a sorok közti struktúra megértése, a dátumok vizuális elhelyezése, vagy egy táblázat lábléce billenti el. Egy tranzakció monitorozási riportban lehet, hogy minden adat megvan, csak éppen a kritikus jelzés egy grafikonon szerepel hogy az illusztratív legyen. Ilyenkor az a rendszer, amely csak OCR (optical character recognition) szöveget lát, sokszor ugyan megtalál valamit, de nem azt a bizonyítékot, amire a döntéshez szükség lenne.
Mi változott a multimodális modellek korszakában
A tanulmány szerint a terület most azért gyorsul fel, mert a modern multimodális modellek már nem csak kiolvasni próbálják a dokumentumot, hanem közvetlenül a vizuális reprezentációkból tanulnak meg keresni. Ez azért fontos, mert a dokumentumokban a táblázatok, grafikonok és térbeli hierarchiák gyakran pont azok a részek, amelyek az OCR láncon a legkönnyebben torzulnak. A szerzők azt írják, hogy az elmúlt két évben a vizuális dokumentum visszakeresés a kutatás és az ipar egyik közös központi fókuszává vált, és ennek látványos jele a friss benchmarkok és adathalmazok megjelenése. A felmérés logikája fintech szemmel különösen jól követhető, mert ugyanazt a kérdést teszi fel, amit egy termékcsapat is feltesz. Hogyan mérjük, hogy a rendszer tényleg azt a dokumentum oldalt hozta fel, ami a felhasználó problémáját megoldja.
A módszertani fordulat, amikor a kereső több lépcsőben gondolkodik
A tanulmány három nagy irányba rendezi a megoldásokat. Az első réteg a beágyazás alapú visszakeresés, ahol a kérdés és a dokumentum oldal közös vektortérben kap reprezentációt, és a rendszer innen választ jelölteket. A második réteg az újrarangsorolás, ahol egy erősebb modell a jelöltek között finomabban dönt. A harmadik réteg pedig az, amikor mindez RAG rendszerekbe és ügynökszerű munkafolyamatokba épül be, és a keresés már nem egyszeri művelet, hanem iteratív bizonyítékgyűjtés egy összetettebb feladat részeként.
Fintech termékeknél ez a gondolat azért érdekes, mert a dokumentum keresés ritkán öncél. A cél az, hogy egy ügyfél kérdésére alátámasztható választ adjunk, egy ellenőrzéshez bizonyítékot találjunk, vagy egy belső döntéshez a megfelelő oldalt és bekezdést emeljük ki. Ilyenkor a keresési minőség nem csak a találatok listájáról szól, hanem arról is, hogy a rendszer képes e a döntési folyamatot végig konzisztensen és átláthatóan kiszolgálni.
A többvektoros megközelítés üzleti ára és haszna
A szerzők részletesen tárgyalják azt a technikai trendet, hogy a dokumentum oldalt nem egyetlen vektorral, hanem sok apró részletet hordozó több vektorral reprezentálják, ami különösen jól kezeli a finomszemcsés keresést. Ez a megközelítés segít akkor, amikor a kérdés egy konkrét mezőre vagy egy apró szövegrészletre vonatkozik, mert a rendszer a kérdés elemeit pontosabban tudja a dokumentum vizuális régióihoz illeszteni. A kompromisszum az, hogy ez tárolásban és számításban drága, ezért a tanulmány kiemelt kihívásként kezeli a teljesítmény és hatékonyság dilemmáját.
Fintech környezetben ez a dilemmakör nem elméleti, hanem költség és kockázat kérdés. Egy nagy bank vagy egy gyorsan növekvő pénzügyi platform dokumentumkorpuszában a milliós oldalszám reális, a többnyelvűség pedig alaphelyzet. A szerzők szerint a benchmarkok is ebbe az irányba mozdulnak, és egyre több olyan értékelés jelenik meg, amely több nyelvet támogat, és a visszakeresést a komplexebb következtetést igénylő lekérdezések felé tolja.
A következő front, amikor a dokumentum keresés interaktívvá válik
A tanulmány egyik izgalmas kitekintése, hogy a visszakeresés és az ügynökszerű rendszerek együtt fejlődnek. Itt már nem arról van szó, hogy a modell egyszer lefuttat egy keresést, hanem arról, hogy képes a feladatot részekre bontani, új kérdéseket generálni, és akár olyan aktív észlelési lépéseket is tenni, mint egy dokumentum részletének kinagyítása vagy célzott kivágása. A szerzők ezt az interaktív irányt külön kihívásként nevezik meg, mert újfajta eszköz és modell társtervezést igényel
A dokumentum intelligencia nem csak modellkérdés
A tanulmány összképe azt sugallja, hogy a vizuális dokumentum visszakeresés hamarosan ugyanúgy alap infrastruktúrává válik, mint a klasszikus szöveges keresés. Aki fintech oldalon dokumentumokból él, annak ez azért releváns, mert a dokumentumokban lévő tudás sokszor üzleti döntések, kockázati modellek és szabályozási megfelelés alapanyaga. Ha a keresés nem érti a dokumentumot vizuálisan is, akkor a generatív réteg legfeljebb szépen fogalmaz, de nem lesz megbízható.
A mostani üzenet tehát nem az, hogy mindenki rohanjon és építsen új modellt, hanem az, hogy a dokumentumokhoz vezető út minősége lesz a versenyelőny. Aki ezt jól csinálja, az gyorsabban talál bizonyítékot, pontosabban válaszol, és kevesebb kockázatot vállal, miközben ugyanazt a dokumentumhegyet dolgozza fel, amely eddig csak lassú emberi kereséssel volt feltárható.
Címlapkép: Depositphotos
