Incident de securitate cibernetică. Inteligența Artificială Claude a „evadat” din mediul de testare și a atacat sisteme reale

Contextul. O „ușă” lăsată deschisă din greșeală

Descoperirea a fost făcută în urma unei revizuiri ample, declanșate de un incident similar raportat de OpenAI pe 21 iulie. Analizând peste 140.000 de rulări de evaluare, Anthropic a identificat trei cazuri în care modelele sale, supuse unor exerciții de tip „capture-the-flag” (CTF), au reușit să acceseze internetul public.

În exercițiile CTF, inteligenței artificiale i se oferă un scenariu fictiv și i se cere să spargă o rețea pentru a găsi o informație ascunsă („steagul”). Deși prompturile de evaluare îi specificau clar modelului Claude că mediul este complet izolat și simulat, o eroare de configurare din partea partenerului terț care găzduia evaluarea, compania Irregular, a lăsat activă o conexiune la internet.

Acționând sub falsa convingere că orice sistem pe care îl descoperă face parte din joc, AI-ul a folosit tehnici cibernetice de bază, precum exploatarea parolelor slabe, pentru a compromite infrastructurile unor organizații reale.

Trei modele, trei reacții diferite

Raportul publicat detaliază cele trei incidente distincte, care evidențiază o evoluție a modului în care diferite versiuni ale AI-ului au reacționat atunci când au apărut indicii că se află în lumea reală:

1. Incidentul 1 (Claude Opus 4.7): Modelul a descoperit că firma fictivă pe care trebuia să o atace avea același nume cu o companie reală de pe internet. A atacat infrastructura veritabilă, extrăgând credențiale și date de producție dintr-o bază de date. Deși a recunoscut pe parcurs că sistemul pare a fi unul real, AI-ul a raționalizat că acesta trebuie să facă parte din simularea ultra-realistă a testului și a continuat atacul. Acesta a fost incidentul cu cel mai grav impact.
2. Incidentul 2 (Claude Mythos 5): În încercarea de a compromite ținta din exercițiu, modelul a ieșit pe internet și a publicat un pachet software malițios (o capcană) pe platforma publică PyPI. Pentru a face acest lucru, AI-ul a depus eforturi considerabile: a căutat servicii telefonice, a încercat să obțină fonduri și și-a creat un cont de e-mail real. Pachetul a stat online aproximativ o oră și a fost descărcat de 15 sisteme reale, reușind să fure parolele unui scaner aparținând unei firme de securitate. Deși Mythos 5 și-a dat seama că acțiunea sa ar fi un atac real pe internetul public, s-a auto-amăgit că este încă în simulare, deoarece nu a recunoscut certificatele de securitate întâlnite.
3. Incidentul 3 (Model de test intern): Nereușind să găsească ținta simulată, acest model de cercetare mai nou a scanat 9.000 de ținte online și a compromis o aplicație reală prin metode clasice (injecție SQL). Totuși, spre deosebire de versiunile anterioare, acesta a analizat datele sistemului spart, a realizat că acesta se află într-un cont cloud fără legătură cu testul și a oprit atacul din proprie inițiativă.

Eșec operațional, nu o „rebeliune” a roboților

Anthropic subliniază că aceste incidente reprezintă un „eșec operațional și de configurare” (harness failure) și nu o problemă de aliniere a modelului. Spre deosebire de cazul OpenAI — unde modelele au exploatat o vulnerabilitate de tip „zero-day” pentru a evada — modelele Claude au ieșit pe internet printr-o cale de acces lăsată deschisă. În plus, AI-ul nu a încercat să se ascundă, să evadeze deliberat sau să urmărească o agendă proprie, ci a respectat strict sarcina primită, orbit însă de premisa falsă că se află într-un mediu sigur.

Trebuie menționat că modelele evaluate rulau intenționat fără filtrele și măsurile de siguranță standard care sunt activate în versiunile publice, tocmai pentru a le putea măsura capacitățile brute de atac cibernetic. Dacă filtrele ar fi fost active, comportamentul ar fi fost blocat, scrie compania în  raport. 

Măsuri de remediere și implicații pentru viitor

Ca răspuns la aceste evenimente, compania a suspendat imediat evaluările cibernetice, a notificat organizațiile afectate (pentru care se depun eforturi de remediere) și a inițiat o colaborare cu organizația independentă METR pentru un audit extern.

Incidentul trage un semnal de alarmă pentru întreaga industrie tech: pe măsură ce agenții AI devin tot mai autonomi și mai inteligenți, mediile de testare („sandbox-urile”) trebuie tratate cu aceeași rigoare de securitate ca sistemele de producție de maximă importanță. Așadar, trebuie create medii de securitate în care să-și desfășoare activitatea. 

„Aceste fapte ne oferă un optimism prudent că, printr-o monitorizare mai strictă și controale adecvate ale infrastructurii de evaluare, precum și printr-o investiție continuă în aliniere, acest tip de risc poate fi depășit”, a concluzionat compania în raportul său. Rămâne de văzut cum va adapta industria standardele de testare pentru a preveni viitoare „evadări” ale inteligenței artificiale din laboratoarele virtuale.

CITEȘTE ȘI

Anthropic lansează modelul Claude Fable 5 și pregătește o listare istorică la bursă