A mesterséges intelligenciáról sokszor úgy beszélünk, mintha a bizalom kérdése egyszerűen megoldható lenne egy jó magyarázattal. Ha a modell megmutatja, melyik bemeneti részlet volt fontos, ha ad egy szép vizualizációt, vagy ha elmond egy hihető történetet arról, miért jutott az adott kimenetre, akkor hajlamosak vagyunk azt érezni, hogy a rendszer átlátható és ezért biztonságosan használható. Egy friss tanulmány szerint azonban ez a gondolkodásmód félrevisz, mert a magyarázhatóság köré épített gyakorlatok ma már nemcsak hiányosak, hanem bizonyos helyzetekben kifejezetten kockázatossá is válhatnak.
A kutatás léptéke: ritkán látott ipari és akadémiai összefogás
A tanulmány súlyát nemcsak a tézise adja, hanem a szerzői háttér is. Az affiliációk között egyszerre szerepelnek vezető egyetemek és meghatározó ipari kutatóhelyek, köztük a Harvard University, a University of Cambridge, a Microsoft Research és a Google DeepMind, de ugyanúgy jelen van az IBM Research, a Meta, az MIT, az Nvidia és a Sony AI is.
Az XAI nem javítgatást, hanem szemléletváltást igényel
A szerzők azt állítják, hogy a jelenlegi explainable AI (megmagyarázhatóan működő mesterséges intelligencia) megközelítések egyszerre küszködnek empirikus és fogalmi problémákkal, és a terület sokszor olyan ellentmondásokra épül, amelyek tovább nehezítik a tiszta mérhetőséget és a valós garanciák megteremtését. A kutatók szerint a felszínen látható hibák mélyebb gyökérokokra vezethetők vissza, amelyeket paradoxonok, fogalmi összekeverések és téves alapfeltevések alkotnak, és emiatt a további építkezés ezekre akár még nagyobb zavart is okozhat.
A szöveg egyik legerősebb mondata, hogy az AI fekete dobozainak kinyitására irányuló törekvés közben létrejött egy új fekete doboz is, mégpedig maga az XAI, ahol ugyanaz a címke sokszor egészen eltérő célokat takar.
Miért csúszott félre az XAI ígérete a gyakorlatban
A tanulmány szerint az egyik alapvető gond, hogy az XAI kifejezés alatt sokszor nem ugyanazt értjük. Van, aki végfelhasználói bizalmat akar építeni, mások fejlesztői hibakeresést, megint mások szabályozói elszámoltathatóságot, és a terület így egyre inkább széttartó célok mentén mozog. A következmény az, hogy nehéz egységesen mérni a sikert, és könnyű olyan magyarázatokat gyártani, amelyek jól hangzanak, de nem azt garantálják, amire a magas tétű alkalmazásoknál ténylegesen szükség van.
A szerzők külön figyelmeztetnek arra is, hogy a magyarázat könnyen a hamis biztonságérzet forrásává válik. Ha egy rendszer proxy jellegű magyarázatokra támaszkodva tűnik elfogadhatónak, miközben hiányzik a szisztematikus szakértői ellenőrzés és a tudományos közösségi kontroll, akkor az XAI valójában elfedheti a problémákat, nem pedig feltárja őket.
A javasolt irány: a magyarázatról a bizonyításra és tanúsításra kerül a hangsúly
A szerzők nem azt mondják, hogy minden interpretálhatósági eszköz értéktelen, hanem azt, hogy a megbízhatóságot nem magyarázatokkal kell helyettesíteni. A kiút szerintük egy összetett paradigmaváltás, amely a megbízható és tanúsítható AI felé tereli a fókuszt, és négy egymást kiegészítő irányt jelöl ki, köztük az Interactive AI szemléletét, az AI episztemológiát, a felhasználóhoz illeszkedő rendszereket és a modellközpontú interpretálhatóságot.
Az Interactive AI leírása különösen beszédes, mert itt a cél nem az, hogy a fekete dobozt mindenképp elmagyarázzuk, hanem az, hogy valós idejű ember és AI együttműködésen keresztül ellenőrizzük a kimeneteket, és a bizalom forrása a verifikáció legyen, ne a meggyőzőnek tűnő narratíva. A tanulmány ezt a váltást kifejezetten úgy fogalmazza meg, hogy a magyarázatról az ellenőrzésre kerül át a hangsúly, mert ez adhat erősebb teljesítménygaranciákat, és közben csökkentheti a felhasználói túlterhelést és ítéletromlást is.
Mi következik ebből a nem kutatói világban
A tanulmány olvasata a gyakorlat számára meglepően egyszerű. Ha egy rendszer fontos döntéseket támogat, akkor a valódi kérdés nem az, hogy tudunk-e hozzá szép magyarázatot adni, hanem az, hogy tudjuk e igazolni a teljesítményét, korlátait és megbízhatóságát olyan folyamatokkal, amelyek szakértői felelősséget, ellenőrzést és közösségi normákat is beépítenek. Ebben a keretben a magyarázat nem cél, hanem legfeljebb egy kiegészítő jelzés, miközben a fő garanciát a verifikáció, a tesztelés és a tanúsítás adja.
Forrás
Címlapkép: Depositphotos
