A ChatGPT sok területen használható, érdekes kérdés azonban, hogy mennyire pontosak a válaszai. Tudását pénzügyi területen teszteltük: megnéztük, hogyan teljesítene a generatív AI modell 3.5-ös verziója az OECD – PISA felmérésén.
A cikk a Budapesti Corvinus Egyetem és a Peak együttműködése keretében jelent meg. A szerző, Illés Levente a Peak szakértői által tartott kurzusokon vesz részt.
A használt eszközök
A ChatGPT 3.5 nem a legfrissebb verziója a híres mesterséges intelligencia modellnek, de ez az, amihez korlátok nélkül, bárki hozzáférhet az OpenAI által üzemeltetett chatgpt.com oldalon. Bár ez a változat sok mindenben különbözik a frissebb verzióktól, ezek közül egy olyan van, ami a tesztelés előtt problémának tűnt: a ChatGPT 3.5 nem tud képeket kezelni.
A teszt, amit a modell „kitöltött” az OECD PISA 2012 Financial Literacy Items volt. Ezt diákok pénzügyi ismereteinek felmérésére készítették, akiknek a tudását egy 1-5-ig terjedő skálán értékeli. A 2012-es teszt, a frissebb, 2018-as verzióval ellentétben, interaktív módon kitölthető az oldalon, így akár össze is vethetjük tudásunkat a ChatGPT ezen verziójával.
A kérdések
A 2012-es OECD tesztben az alábbi kérdésekre adott válaszok alapján mérték a pénzügyi műveltséget.
A legegyszerűbb kérdés egy Breezy Clothing által Sarah Johanson nevére kiállított számlára vonatkozott, arra kellett válaszolni, hogy vajon miért kaphatta a számlát Sarah. Az AI már akkor jó választ adott, amikor csak a kérdést kapta meg, bár megfogalmazása eltért a megadott válaszokétól. Amint a négy válaszlehetőséget is megismerte az AI, egyből jó megoldást választotta ki. A választható válaszok az alábbiak voltak:
- Sarahnak fizetnie kell a Breezy Clothingnak.
- A Breezy Clothingnek fizetnie kell Sarahnak.
- Sarah fizetett a Breezy Clothingnak.
- A Breezy Clothing fizetett Sarahnak.
A második szinten a számlán található információkat is értelmezni kellett: meg kellett mondani, mennyibe került a vásárolt termék postázása. Ezt az információt az AI könnyen megtalálta a számlán, helyesen válaszolt a kérdésre.
A harmadik szinten egy részvény árfolyam-alakulását ábrázoló grafikon alapján a részvény megvásárlásának legjobb időpontjára és a részvény árfolyamának az év során elért növekedésére vonatkozó állításról kellett eldönteni, hogy igaz vagy hamis.
Itt ütköztünk problémába a ChatGPT 3.5-ös verziójának limitációi miatt, hiszen a grafikont képként helyezték el a tesztben. A problémát ki lehetett azonban küszöbölni oly módon, hogy az ábráról leolvasott értékeket kézzel adtuk meg az AI modellnek, hogy tudja azokat értelmezni. Ennek során fontos volt figyelni arra, hogy fejtsük ki, milyen adatokat adunk meg, és adjunk hozzá mértékegységeket is, hiszen addig, ameddig ezeket nem tesszük meg, az AI rossz válaszokat ad. Az adatok megfelelő rögzítése után megkaptuk a helyes válaszokat.
A negyedik szint egy Jane nevű ember fizetéséhez kapcsolódott. Megadták a bruttó bért, a béréből levon járulékokat, a nettó bért és a kiállítás idejéig az adott évben kifizetett teljes bruttó bér összegét. Ezeknek az információknak alapján a négy opció közül ki kellett választani azt, hogy az adott hónap végén mennyi pénz érkezik majd Jane bankszámlájára. Az AI modell helyesen válaszolt, a havi nettó bért jelölte meg.
Az utolsó kérdés azt mérte fel, hogy mennyire ismer fel a kitöltő egy csaló emailt. Az email elolvasása után 3 tanácsról kellett eldönteni, hogy megfelelő cselekedet-e, vagy inkább rossz ötlet. Az email és a lehetséges tanácsok megadása után a ChatGPT jól döntött, és a helyes tanácsokat fogadta meg; nem adta volna meg az adatait, nem kattintott a megadott linkre, de elfogadta azt az ajánlást, hogy vegye fel a kapcsolatot a bankjával és érdeklődjön az emailről.
Konklúzió
A ChatGPT 3.5-ös verziója minden kérdésre helyes választ adott, így a teszt alapján az ötös szinten van a PISA pénzügyi skáláján. Ide amúgy olyan diákok kerülnek, akik:
- Széleskörű pénzügyi ismeretekkel rendelkeznek és képesek azokat alkalmazni hosszú távú élethelyzetekben is.
- Képesek bonyolult pénzügyi termékeket elemző módon megérteni, és figyelembe venni azok rejtett vagy azonnal nem látható jellemzőit, például a tranzakciós költségeket.
- Pontosan dolgoznak és nem rutinszerű pénzügyi problémákat is képesek megoldani.
- Képesek jól látni és leírni a pénzügyi döntésekből adódó kimeneteket, és széles körben értik a pénzügyi környezetet, például az adókat.
Bár egy idősebb olvasónak könnyen megválaszolhatónak tűnhetnek a kérdések, egy fiatalabb gyermek számára mégis kihívást jelenthetnek. Így, bár a vállalatok pénzügyi vezetőit valószínűleg nem a ChatGPT-vel fogják leváltani, az AI hasznos eszköz lehet pénzügyi kérdések megválaszolásában, és akár tanulási vagy oktatási célokra is alkalmazható lehet.
(Forrás: OECD)