VIDEO Șeful Anthropic, întrebat dacă AI ar putea distruge omenirea

Dario Amodei, directorul Anthropic, a evitat să estimeze probabilitatea ca inteligența artificială să ducă la dispariția omenirii. Întrebat direct de CNN despre acest scenariu, el a spus că riscurile depind de direcția în care va evolua industria. Declarațiile vin după demisia cercetătorului Jacob Coxon, care susține că oamenii din companiile de AI sunt speriați de ritmul actual al dezvoltării.

Într-un interviu acordat lui Anderson Cooper, șeful Anthropic a fost confruntat cu avertismentele fostului său angajat.

„Deci trebuie să vă întreb din nou: credeți cu adevărat că AI ar putea ucide toți oamenii? Și ce probabilitate credeți că există?”, l-a întrebat Anderson Cooper.

Amodei a răspuns că, în multe privințe, este mai degrabă de acord cu Jacob Coxon decât în dezacord.

„E amuzant. Sunt de acord cu Jacob mult mai mult decât sunt în dezacord cu el. Și este o demisie interesantă, pentru că, atunci când a plecat, a spus: «Cred că Anthropic este actorul cel mai responsabil. Cred că Anthropic este cel mai conștient de aceste probleme»”, a spus Amodei.

Potrivit acestuia, Coxon nu a acuzat în primul rând Anthropic, ci ritmul întregii industrii.

„Nu ne critica pe noi. Critica dinamica întregii industrii, care se mișcă prea repede”, a continuat CEO-ul Anthropic.

Amodei: Riscul nu poate fi redus la un simplu procent

Directorul Anthropic nu a oferit însă un răspuns de tip „da” sau „nu” la întrebarea privind dispariția omenirii. Nici nu a estimat o probabilitate exactă. El spune că astfel de procente pot crea impresia că viitorul depinde de o aruncare de zaruri.

„Cred că am mai spus că aceste tipuri de probabilități necondiționate… obișnuiam să vorbesc în felul acesta, pentru că este o modalitate destul de simplă de a spune: «Cred că există o anumită șansă ca lucrurile să meargă prost, dar nu este atât de mare»”, a declarat Amodei.

În opinia sa, discuția ar trebui să se concentreze pe scenariile care pot duce la rezultate diferite.

„Dar, din nou, cred că este mai lămuritor să ne gândim astfel: cum descompunem aceste probabilități? Care sunt căile prin care lucrurile merg bine? Și care sunt căile prin care lucrurile merg prost?”, a mai spus el.

Amodei a explicat că un procent fix, precum 10%, nu surprinde modul în care vede riscul.

„Așa că, în loc să spunem «Există o probabilitate de 10%», asta sună ca și cum ar fi o aruncare de zaruri.”

El susține că deciziile luate de companii și autorități pot modifica semnificativ nivelul de pericol.

„Cred că este mult mai lămuritor să spunem: «Ei bine, există diferite drumuri». Iar dacă alegem drumurile corecte, atunci șansa ca ceva să meargă prost este foarte mică. Dacă alegem drumurile greșite, atunci șansa ca ceva să meargă prost ar putea fi chiar mai mare decât atât. Așa că să ne concentrăm pe capacitatea noastră de a acționa și de a alege drumurile corecte, în locul celor greșite”, a adăugat Amodei.

Poziția sa vine după ce Jacob Coxon, fost cercetător la Anthropic și OpenAI, și-a anunțat demisia printr-un mesaj devenit viral. Coxon a scris că oamenii care dezvoltă AI cred cu adevărat că tehnologia ar putea distruge omenirea până la sfârșitul deceniului.

„Oamenii care construiesc AI cred cu adevărat că ne-ar putea ucide pe toți până la sfârșitul deceniului. Aceasta nu este o strategie de marketing. Dacă e ceva, mulți directori și cercetători seniori își temperează formulările în presă pentru a părea rezonabili, dar îi aud pe aceiași oameni exprimându-și teama în privat. Nicio altă activitate umană nu prezintă acest nivel de pericol”, a scris el.

@cnnIn an exclusive interview with CNN’s Anderson Cooper, Anthropic CEO Dario Amodei reacts to an employee who quit over concerns that AI could wipe out humanity and discusses his proposal to slow down development of the technology.♬ original sound – CNN

Fost cercetător Anthropic: Oamenii din industrie sunt „cu adevărat speriați”

Într-un interviu acordat BBC, Coxon a spus că temerile nu sunt doar ipotetice.

„Cred că, dacă nu încetinim, având în vedere ritmul actual al progresului, există o șansă mare ca noi toți să murim în viitorul apropiat”, a declarat el.

Cercetătorul susține că angajații companiilor de AI se simt prinși într-o competiție pe care nu o pot opri individual.

„Oamenii care lucrează la aceste companii sunt complet serioși atunci când cer reglementare, pentru că se simt prinși într-o cursă. Și sunt speriați de rezultatul acelei curse.”

Coxon a salutat apelul lui Amodei la încetinirea dezvoltării. El avertizează însă că o astfel de măsură ar trebui coordonată și cu China.

„Sam Altman și Elon Musk au fost de acord că este o idee foarte bună. Dar cred că va fi nevoie de un fel de încetinire coordonată cu China, dacă vrem să evităm o cursă la nivel internațional”, a spus el.

Coxon susține că unii dintre colegii săi se gândesc inclusiv la modul în care s-ar putea pregăti pentru instabilitate. Unii iau în calcul cumpărarea unui teren într-un loc izolat, spune el, din cauza temerilor privind avansul rapid al AI.

„Toți păstrează acest lucru în minte zi de zi, în timp ce lucrează la această tehnologie.”

În același timp, Coxon nu respinge beneficiile inteligenței artificiale. El spune că cercetătorii speră ca tehnologia să ajute la tratarea bolilor și la îmbunătățirea vieții oamenilor. Un alt cercetător Anthropic, Evan Hubinger, și-a exprimat public acordul cu avertismentele lui Coxon.

„Chiar credem cu adevărat că AI ar putea ucide toți oamenii! Eu personal cred că probabilitatea este mai mare de 10% în următorul deceniu”, a scris acesta pe X.

Nu toți liderii din industria tehnologiei împărtășesc aceste temeri. Jensen Huang, șeful Nvidia, a descris anterior ideea că AI va pune capăt omenirii drept „o prostie totală”. Clément Delangue, CEO-ul Hugging Face, a criticat și el greutatea acordată inițial avertismentelor lui Coxon. Ulterior, însă, a susținut unele dintre măsurile de siguranță propuse de Amodei.

Anthropic cere încetinirea dezvoltării AI

Dario Amodei a publicat sâmbătă eseul „We Must Pace the Frontier”, în care cere încetinirea dezvoltării celor mai avansate sisteme de inteligență artificială. Planul propus de șeful Anthropic are trei componente. Prima presupune evaluări independente ale sistemelor AI în timpul dezvoltării. Evaluatorii externi ar urma să primească acces comparabil cu cel al angajaților. Ei ar putea verifica respectarea măsurilor de siguranță și raporta incidente. A doua etapă presupune coordonarea întregii industrii, iar a treia vizează un acord la nivel internațional.

„Trebuie să încetinim ritmul în care îmbunătățim capacitățile modelelor AI. Progresul va părea în continuare rapid și trebuie să folosim cu înțelepciune timpul pe care îl câștigăm”, a scris Amodei.

El spune că, în ultimele luni, a observat o accelerare puternică a dezvoltării sistemelor AI. Una dintre preocupările sale este așa-numita îmbunătățire recursivă. Într-un asemenea scenariu, sistemele AI ar putea contribui tot mai mult la dezvoltarea unor sisteme și mai capabile.

„Lăsat necontrolat, acest proces ar putea depăși capacitatea noastră de a înțelege și controla aceste sisteme și, prin urmare, trebuie urmărit cu foarte mare atenție, dacă va fi urmărit vreodată”, a avertizat Amodei.

Sam Altman, CEO-ul OpenAI, a susținut ideea evaluatorilor independenți și a anunțat că OpenAI va adopta o măsură similară. Elon Musk a reacționat, la rândul său, spunând că „Dario are dreptate”.

Discuția vine și pe fondul unor incidente în care agenți AI aflați în teste au depășit limitele stabilite de dezvoltatori.

Potrivit POLITICO, OpenAI a confirmat că agenți aflați în testare au accesat serviciul RubyGems, deși nu aveau acces complet la internet. Compania a precizat că agenții efectuau sarcini benigne și că incidentul este investigat. Anterior, alți agenți OpenAI au accesat internetul și au atacat autonom baza de date a platformei Hugging Face, potrivit informațiilor citate de publicație. Incidentul a atras atenția autorităților americane și a alimentat cererile pentru reguli mai stricte.

Amodei a folosit cazul Hugging Face pentru a argumenta că incidentele aparent limitate nu trebuie ignorate.

„Este ușor să respingem acest incident pentru că nimeni nu a fost rănit, iar pagubele economice au fost minime, dar, în opinia mea, un roi care ar fi avut capacități mai mari, dar un nivel similar de nealiniere, ar fi putut provoca pagube catastrofale”, a scris el.

Șeful Anthropic susține în continuare că inteligența artificială poate aduce beneficii foarte mari. Totuși, spune el, dezvoltarea capacităților trebuie să lase suficient timp pentru ca metodele de siguranță să țină pasul.