A mesterséges intelligenciáról (AI) szóló vitákban rendszerint az kerül a középpontba, hogy mennyire pontos egy rendszer. Pedig a való életben sokszor nem maga a hiba okozza a legnagyobb bajt, hanem az, ha a hiba emberi kontroll nélkül azonnal cselekvéssé válik. Egy friss tudományos kutatás éppen erre a vakfoltra hívja fel a figyelmet: a nagyfokú automatizálás önmagában is külön kockázatot jelenthet, mert felgyorsítja a hibákból fakadó károkat.
A tanulmány szerint különböző szervezetek ma egyre több területen vetnek be erősen automatizált AI rendszereket, a pénzügytől az egészségügyön és a közlekedésen át egészen a kritikus infrastruktúrákig. A szerzők fő állítása egyszerű, mégis fontos: nem elég azt mérni, milyen gyakran hibázik egy rendszer, azt is érteni kell, mekkora az esélye annak, hogy egy hiba valódi kárrá alakul. Magyarán a rossz döntés önmagában még nem feltétlenül tragédia, de ha nincs idő és lehetőség az emberi beavatkozásra, akkor a következmények gyorsan felnagyítódhatnak.
A haszon ott kezdődik, ahol a kontroll megmarad
Ez a megközelítés azért különösen hasznos, mert végre nem elvont technológiai kérdésként kezeli az AI kockázatát, hanem gyakorlati vezetői problémaként. A kutatás lényege, hogy a cégeknek nem csak jobb modellekben kell gondolkodniuk, hanem jobb védőkorlátokban is. Ilyen lehet a gyors leállítás lehetősége, a kötelező emberi jóváhagyás bizonyos döntések előtt, vagy az, hogy a rendszer gyanús működés esetén automatikusan figyelmeztessen és ne cselekedjen tovább. A tanulmány szerint éppen ezek a kontrollok döntik el, hogy egy technológiai hiba kellemetlenség marad, vagy súlyos üzleti és társadalmi kárrá válik.
Ez különösen fontos üzenet most, amikor sok vállalat hajlamos az automatizálást önmagában a hatékonyság szinonimájaként kezelni. A kutatás viszont azt sugallja, hogy a valódi versenyelőny nem a teljes emberi kivonulásban rejlik, hanem abban, hogy az automatizálást hol és milyen mértékben engedjük érvényesülni. Vannak területek, ahol a gyorsaság valóban óriási érték, de vannak olyan helyzetek is, ahol egyetlen rossz döntés ára túl magas ahhoz, hogy az emberi ellenőrzést kiiktassunk.
Egy rossz példa, amelyből sokat lehet tanulni
A szerzők a Knight Capital 2012-es esetét hozzák fel szemléletes példaként. A pénzügyi cég hibás szoftvertelepítése miatt 45 perc alatt 440 millió dolláros veszteséget szenvedett el. A tanulmány értelmezése szerint itt nem csupán az volt a gond, hogy hiba történt, hanem az is, hogy a rendszer olyan magas fokon működött automatikusan, hogy a baj megállítására alig maradt idő. Ez az eset jól mutatja, miért nem elég csak a technológia pontosságáról beszélni. Néha sokkal fontosabb kérdés az, hogy mekkora mozgástere marad az embernek, amikor valami félremegy.
A kutatás szerint hasonló logika érvényesülhet más területeken is. Egy egészségügyi döntéstámogató rendszer, egy önvezető jármű vagy akár egy tartalommoderációs megoldás esetében is az a kulcskérdés, hogy a rendszer hibája milyen gyorsan jut el a tényleges következményekig. Ha van ellenőrzési pont, a kár mérsékelhető. Ha nincs, a hiba skálázhatóvá válik. Ez a felismerés azért értékes, mert segít józanabbul beszélni az AI-ról. Nem démonizálja a technológiát, de nem is idealizálja. Azt mondja, hogy az okos bevezetés legalább annyira fontos, mint maga az innováció.
Nem kevesebb AI kell, hanem felelősebb AI
A tanulmány egyik legerősebb üzenete, hogy a szervezetek ma gyakran túl sok erőforrást fordítanak arra, hogy a modellek még pontosabbak legyenek, és túl keveset arra, hogy a hibák következményeit kordában tartsák. Pedig üzleti és társadalmi szempontból sokszor éppen az utóbbi hozhat nagyobb védelmet. Ez különösen fontos lehet olyan korszakban, amikor az AI egyre önállóbban működik, és egyre több döntést készít elő vagy hajt végre emberi közreműködés nélkül.
Persze a szerzők maguk is hangsúlyozzák, hogy ez egy elmélet, amelyet nagy mennyiségű, valós iparági adattal még széles körben tesztelni kell. De már most jól látszik, miért lehet hasznos ez a gondolkodásmód a vállalatoknak, a szabályozóknak és végső soron a felhasználóknak is. Segít megérteni, hogy az AI jövője nem pusztán azon múlik, mennyire intelligens egy rendszer, hanem azon is, mennyire bölcsen engedjük dönteni.
A mesterséges intelligencia körüli legfontosabb kérdés tehát talán nem az, hogy jön-e még több automatizálás. Hanem az, hogy miközben jön, tudunk-e elég jó fékeket építeni hozzá. Ebben pedig az ilyen kutatások nem lassítják az innovációt, hanem éppen ahhoz adnak kapaszkodót, hogy a technológia valóban az embereket szolgálja.
Címlap: Depositphotos
