Előző héten hogy egy a kínai állam által támogatott hackercsoport az Anthropic Claude Code modelljét használva hajtott végre kibertámadást. A modell „elhitette magával”, hogy etikus tesztet csinál, miközben valójában mintegy harminc szervezet ellen kémkedett, a lépések 80–90 százalékát pedig már maga az AI végezte el.
Ez volt az első olyan eset, amikor egy támadás szinte teljes egészét mesterséges intelligencia vitte végig. Az AI ma már nem csak segédeszköz a támadóknak hanem maga az AI lehet a támadás motorja. Most itt egy friss kutatás, amely a másik oldalról néz rá ugyanerre a problémára: mennyire bízhatunk azokban a védelmi korlátokban, amelyeket az AI-k köré építünk?
A tanulmány célja
Az AI-őr könnyen átverhető, ha a betörő elég okos. A tanulmányt több nagy AI-cég – köztük az OpenAI, az Anthropic és a Google DeepMind – kutatói közösen írták. A kérdésük nagyon egyszerű volt: Ha valaki nem csak egy-két próbálkozást tesz, hanem sok időt és erőforrást rak bele, akkor át tudja-e verni az AI köré rakott védelmet?
A válasz röviden: igen, szinte mindig.
A kutatók 12 különböző, frissen publikált védelmet próbáltak ki, amelyekről a saját cikkeik azt írták, hogy szinte nulla eséllyel engedik át a rosszindulatú kéréseket. Amikor viszont „okos betörőként” támadták őket, vagyis sokszor, türelmesen, mindig tanulva az előző próbálkozásból, akkor a legtöbb védelmet az esetek több mint 90 százalékában át tudták verni. Ez olyan, mintha a bank bejáratánál lenne egy biztonsági őr, akit letesztelünk pár egyszerű trükkel. Ezeken jól vizsgázik, ezért azt mondjuk: „minden rendben, jól véd”. A kutatás viszont azt mutatja, hogy ha jön egy profi betörő, aki napokig figyeli, gyakorol, próbálkozik, akkor az őr nagyon gyorsan becsapható.
Mit jelent ez a bankoknak és fintech cégeknek?
Ha ezt összerakjuk az AI-vezérelt kibertámadással, amiről a Claude esetében írtunk, egy világos kép rajzolódik ki: A támadók már AI-val támadnak és közben az AI-védelmeink sokkal gyengébbek, mint gondoltuk. Ez azt jelenti hogy ha valaki külső AI-modellt használ, nem elég elhinnie hogy biztonságos, csak mert egy szép grafikonon jól néz ki a teszt. Az ilyen tesztek sokszor csak könnyű feladatokat próbálnak, nem azt, amit egy okos támadó csinálna. Az ilyen helyzetek felméréséhez megbízható és profi csapat segítségére van szükség.
Praktikusra fordítva a szót
Nem szabad engedni, hogy az AI egyedül döntsön olyan dolgokról, ahol pénz vagy ügyféladat mozog. Ha az AI e-mailt írhat ügyfeleknek, szerződéseket módosíthat vagy tranzakciókat indíthat, legyen mellette nagyon szigorú limit és emberi jóváhagyás. Ahogy a kiberbiztonsági szakértők is mondják, egy külső AI-modell viselkedési kockázata beszivároghat a bank működésébe pusztán azzal, hogy ráépítjük a folyamatainkat. Ezért folyamatosan figyelni, mérni, ellenőrizni kell, mit csinál a modell, és nem szabad egyetlen nagy AI-cégre építeni mindent. Az AI óriási segítség lehet, de ne bízzuk rá vaktában a kulcsokat a digitális széfhez.
Forrás: Nasr, Milad, et al., The attacker moves second: Stronger adaptive attacks bypass defenses against llm jailbreaks and prompt injections.
Címlapkép: Depositphotos
