A vizsgált tanulmány központi állítása, hogy a mai, gondolkodónak tekintett (reasoning) modellek által előállított hosszabb gondolatmenetek nem tekinthetők megbízható, önálló indoklásnak. A szerzők bizonyítékot találtak arra, hogy a modellek sok esetben akkor sem veszik át a helyes megoldást, ha azt kifejezetten beillesztjük a gondolatmenetükbe; ehelyett tovább generálnak felesleges lépéseket, és nem ritkán hibás válaszhoz jutnak. Így a gondolkodás igazából csak akkor „működik”, ha a helyes választ amúgy is tudta a modell.
A kísérlet
A kutatók a modell futó gondolatmenetébe, a saját stílusát követve, beszúrták a helyes választ, és azt vizsgálták, hogy a rendszer átveszi-e és lezárja-e így a feladatot. Három, eltérően tanított modellen az AIME2024 feladatain következetes mintát láttak: a beadott igazság után is gyakori volt a túlbeszélés és a hibás végső kimenet, ritkábban rövid lezárás. A hatás erősen feladatfüggő volt, nem köthető mérethez vagy más változókhoz.
Értelmezés: mikor „segít” a gondolkozás
Az eredmények arra utalnak, hogy a hosszabb gondolatmenet nem okozója a helyes válasznak, hanem legfeljebb kísérőjelensége annak, amikor a modell már eleve „tudja”, merre kell mennie. Ha a helyes válasz nem volt jelen a modell belső repertoárjában, a gondolkodás többnyire nem javít, sőt a túlbeszélés a hibás útvonal rögzüléséhez vezethet. Ez a tanításuk miatt lehet, ahol modell gyakran rossz jeleket vesz figyelembe: azt hiszi, hogy a hosszabb válasz vagy bizonyos stílusjegyek a siker jelei, még ha igazából ez nem is így van. Így olyan egyszerű szabályokat vesz fel, amelyek nem a helyességet követik, és könnyen félrevezethetik.
Gyakorlati következmények
A tanulmány közvetlen tanulsága, hogy a kimenet hossza vagy az „emberinek ható” érvelés stílusa nem tekinthető minőségi garanciának. A mai modellek gyakran nem veszik át megbízhatóan a kívülről kapott javítást. Ezt külön tesztelni kell; enélkül a hosszú okfejtés könnyen hamis bizalmat kelt.
Korlátok
A szerzők megjegyzik, hogy az eredmények főként matekpéldákból és limitált számú modellből származnak. A „jó válasz” közbeírása sem biztos, hogy tökéletesen reflektálja, hogyan működnek ezek a rendszerek valójában. Ezért óvatosan érdemes következtetni, és további vizsgálatok kellenek más feladatokon, több modellen.
Összegzés
A bizonyítékok alapján a mai gondolkodó mesterséges intelligenciák (reasoning-modellek) gondolatmenete nem tekinthető önálló, termékeny indoklásnak. Amikor a gondolkodás „segít”, az azért van, mert a helyes válasz már eleve elérhető volt a modellben; amikor pedig nincs jelen a helyes válasz, a hosszabb levezetés sem hozza be. A megbízható indokláshoz nem több szövegre, hanem jobb belső mechanizmusokra lenne szükség.
Címlapkép: Depositphotos
