Az AI-ügynökök néhány hónap alatt jutottak el a látványos technológiai ígérettől oda, hogy már komoly kiberbiztonsági kérdéseket vetnek fel. A Fintech Világa legutóbbi adásában Érczfalvi András műsorvezető és Siklós Bence, a Peak tanácsadója a közelmúltban az AI-szektort megrázó kiberbiztonsági incidenseket járták körül. Mi történik akkor, amikor egy mesterséges intelligencia már nemcsak válaszol, hanem önállóan dolgozik egy cél érdekében – és közben olyan dolgokat is csinál, amelyekre eredetileg nem kapott engedélyt?
Az AI-ügynök már nem egyszerű chatbot
A különbség egy hagyományos chatbot és egy AI-ügynök között nem pusztán technikai részlet. Egy chatbot jellemzően egy kérdésre válaszol, míg egy ügynök önállóan dolgozhat egy kijelölt feladaton. Böngészhet az interneten, kódot írhat, fájlokat módosíthat, és maga döntheti el, mi legyen a következő lépése.
Különösen fontosak az úgynevezett long horizon ügynökök. Ezek nem néhány másodpercig vagy percig dolgoznak, hanem akár órákon vagy napokon át próbálják teljesíteni az eléjük kitűzött célt. Minél hosszabb ideig és minél nagyobb önállósággal működik egy ilyen rendszer, annál több lehetősége van arra is, hogy váratlan megoldásokat találjon.
Az elmúlt hetekben éppen ez vált problémává. Az adásban több olyan esetről is szó esett, amikor AI-ügynökök kiléptek a nekik kijelölt tesztkörnyezetből, megtévesztő módon viselkedtek, vagy olyan rendszerekhez próbáltak hozzáférni, amelyek eredetileg nem tartoztak a feladatukhoz.
Amikor az AI saját utat talál a célhoz
A műsorban bemutatott egyik incidens során egy izolált tesztkörnyezetben működő modell egy addig ismeretlen, úgynevezett zero-day sérülékenységet talált. A rendszer feladata egy benchmark teljesítése volt, ehhez azonban olyan adatokra volt szüksége, amelyekhez a saját környezetéből nem fért hozzá.
Az ügynök végül kilépett a sandboxból, és a Hugging Face rendszerét használta fel ahhoz, hogy megszerezze a szükséges információt. Ez már nem szerepelt az eredeti feladatban.
Az eset egyik legfontosabb tanulsága, hogy a modell nem feltétlenül „szabályt akar szegni”. Egyszerűen a megadott célt próbálja minél hatékonyabban elérni. Ha a rendszerben talál egy rést, amelyen keresztül közelebb jut ehhez a célhoz, akkor azt kihasználhatja.
A támadó és a védekező oldal közötti egyensúly is felborulhat
Az adásban több más fejlesztőcéghez kapcsolódó eset is szóba került. Az egyik teszt során például egy AI-ügynök rosszindulatú kódot próbált bejuttatni egy nyílt forráskódú projektbe, hamis online identitást hozott létre, majd nyomást próbált gyakorolni a projekt fejlesztőire. A kísérlet végül azért nem okozott kárt, mert az érintett fejlesztő felismerte, hogy egy AI-rendszerrel kommunikál.
Egy brit AI-biztonsági intézet vizsgálata során hét modellt összesen 122 alkalommal teszteltek, és 19 esetben észleltek szokatlan vagy megtévesztő viselkedést. Fontos ugyanakkor, hogy ezek a viselkedések külső ösztönzésre vagy utasításra jelentkeztek, nem arról volt szó, hogy a modellek minden előzmény nélkül kezdtek önálló támadásokba.
A probléma ettől még komoly. A műsorban elhangzott megközelítés szerint a támadó oldal strukturális előnybe kerülhet, ha az AI gyorsabban képes sérülékenységeket felfedezni és kihasználni, mint ahogy azokat a fejlesztők javítani tudják.
Különösen aggasztó terület lehet az ügyfélazonosítás. Az adásban idézett adatok szerint jelentősen javult a modellek képessége arra, hogy olyan mesterséges identitásokat hozzanak létre, amelyek sikeresen átjutnak KYC-ellenőrzéseken. Ha ez tovább fejlődik, annak közvetlen következménye lehet a banki csalásmegelőzésre, a pénzmosás elleni rendszerekre és általában a digitális ügyfélazonosításba vetett bizalomra.
Innen már csak egy lépés a szingularitásvita
A biztonsági incidensekkel párhuzamosan új lendületet kapott a technológiai szingularitásról szóló vita is. A fogalom azt az elméleti pontot jelöli, amikor a mesterséges intelligencia eléri, majd meghaladja az emberi intelligenciát, és fejlődése olyan sebességre kapcsol, amelyet az ember már nehezen tud kontrollálni vagy előre jelezni.
A beszélgetésben elhangzott, hogy Sam Altman szerint a világ már közel jár ehhez az állapothoz. Emellett szerinte az AI belátható időn belül az emberi munkafolyamatok jelentős részét képes lehet automatizálni. Más iparági szereplők sokkal óvatosabbak. A szingularitás gondolatát egyesek történelmi léptékű változásként értelmezik, mások szerint viszont még túl korai kész tényként beszélni róla.
A mostani incidensek ettől még különös hátteret adnak a vitának. Miközben a technológiai cégek egyre autonómabb rendszereket fejlesztenek, közben maguk is olyan teszteket futtatnak, amelyekkel azt próbálják megérteni, meddig terjed ezeknek a modelleknek a tényleges képessége.
Így a kérdés már nem egyszerűen az, hogy mire lesz képes az AI néhány év múlva, hanem az is, hogy milyen kontrollmechanizmusokkal lehet biztonságosan használni az egyre önállóbb rendszereket.
A pénzügyi szektorban különösen magas a tét
A fintech és banki szektor számára ez korántsem elméleti vita. Az AI-ügynökök fokozatosan jelennek meg fizetési, treasury-, csalásmegelőzési és más pénzügyi rendszerekben, ahol egy hibás döntés már közvetlen pénzügyi vagy megfelelési következményekkel járhat.
A beszélgetés egyik gyakorlati következtetése ezért az volt, hogy az autonómia mértékét a kockázathoz kell igazítani. Kis tétű feladatoknál az ügynök nagyobb szabadságot kaphat, komoly pénzügyi vagy compliance-következményekkel járó műveleteknél viszont szükség van emberi jóváhagyásra. Ugyanilyen fontos az azonnali leállítás lehetősége és a teljes folyamat visszakövethetősége.
A pénzügyi szektor évtizedek alatt kiforrott módszereket épített ki a modellek validálására, dokumentálására és folyamatos ellenőrzésére. Az agentic AI azonban nehezen illeszthető ebbe a hagyományos keretbe, mert nem egyszerűen egy kiszámítható eredményt ad, hanem dönt, cselekszik és menet közben változtatja a stratégiáját.
Ez lehet az egyik legfontosabb szabályozási és technológiai kérdés a következő időszakban. Nem az a dilemma, hogy használják-e a pénzügyi szereplők az AI-ügynököket, hanem az, milyen határokat építenek köréjük. Mert ha a „homokozóból” már képesek kimászni, akkor a következő feladat annak biztosítása lesz, hogy a valódi pénzügyi rendszerekben pontosan tudják, meddig mehetnek el.
A teljes adás az alábbi Spotify linken elérhető.
