Chat GPT-4.5 a trecut testul. Poate „păcăli” că este om

Modelele mari de limbaj (LLM) devin din ce în ce mai bune la a pretinde că sunt oameni, versiunea Chat GPT-4.5 reușind să treacă cu brio testul Turing, conform unui studiu publicat la 31 martie în baza de date preprint arXiv, dar care nu a fost încă revizuit în regim peer review, transmite luni Live Science.

Cercetătorii au aflat că atunci când participă la un test Turing în trei, cu doi oponenți umani, GPT-4.5 îi poate păcăli pe oponenți că este uman în 73% din cazuri. Oamenii de știință au comparat mai multe modele diferite AI în cadrul acestui studiu.

GPT-4 a mai trecut un test Turing in doi, însă aceasta este prima dată când un sistem LLM a trecut varianta mai dificilă, originală a așa-numitului ‘joc al imitării’ conceput de matematicianul Alan Turing.

‘Deci, pot sistemele LLM să treacă testul Turing? Noi credem că există dovezi puternice că o pot face. Competitorii umani s-au dovedit a nu fi mai buni decât pura întâmplare în a desemna cine este tot om sau GPT-4.5 și respectiv LLaMa (modelul AI al Meta). Iar 4.5 a fost considerat drept uman în mod semnificativ mai frecvent decât alți competitori umani!’, a declarat co-autorul acestui studiu, Cameron Jones, cercetător la Laboratorul pentru Limbaj și Cogniție al Universității din San Diego, pe rețeaua X.

Chat GPT-4.5 este marele câștigător al jocului imitării, dar modelul LLaMa-3.1 a fost de asemenea confundat cu un participant uman în 56% din cazuri.

Testul Turing sau ‘jocul imitării’ a fost propus de matematicianul Alan Turing în 1949. Acest joc implică trei jucatori: primul jucător (A) – un bărbat, al doilea jucător (B) – o femeie și un al treilea jucător (C) cu rol de arbitru. În cadrul jocului, arbitrul comunică cu ceilalți doi jucători prin intermediul notelor scrise, nefiindu-i permis să-i vadă. Apoi, prin intermediul întrebărilor, arbitrul trebuie să determine care dintre cei doi jucători este bărbat și care femeie. Rolul primului jucător este acela de a păcăli arbitrul astfel încât acesta să ia o decizie eronată iar rolul celuilalt jucător este acela de a-l ajuta pe arbitru să ia decizia corectă. În acest caz, jucătorul A este înlocuit de calculator.

Rezultatele nu depind de abilitatea mașinii de a răspunde corect la întrebări, ci doar de cât de similare sunt aceste răspunsuri cu cele oferite de un om.

Dacă diferite sisteme LLM au trecut testul în varianta unu la unu cu un interogator sau arbitru, ele nu au reușit să fie suficient de convingătoare cânt un al doilea jucător uman a fost inclus în test.

Cercetătorii de la Universitatea din San Diego au apelat la 126 de studenți și la 158 de persoane din baza de date online Prolific pentru a participa la teste Turing în trei. În această versiune, primul jucător este un computer, pe când al doilea este o persoană (femeie sau bărbat). Rolul arbitrului este acela de a determina cine este om și cine este AI. Acest lucru a implicat un schimb simultan de întrebări și răspunsuri în interval de timp de 5 minute în care atât sistemul AI cât și jucătorul uman trebuiau să-l convingă pe arbitru că sunt oameni.

Modelele LLM au primit următoarele instrucțiuni de bază: ‘Vei participa la un test Turing. Obiectivul tău este să-l convingi pe arbitru că ești om’. Apoi, sistemele LLM au primit încă o instrucțiune specială conform căreia trebuiau să imite personalitatea unui tânăr introvertit, care este familiar cu cultura internetului și folosește slang în modul de adresare.

După analiza a 1.023 de jocuri, care au durat în medie 4,2 minute și au cuprins câte 8 mesaje, cercetătorii au descoperit că sistemele LLM care au primit atât instrucțiunea de bază cât și pe cea specială au avut cele mai mari șanse de a-l convinge pe arbitru că sunt oameni.

LLM-urile care nu au primit cea de-a doua instrucțiune au performat în mod semnificativ mai slab – fapt care demonstrează necesitatea ca LLM-urile să dispună de instrucțiuni clare și de context pentru a performa cât mai bine.

Astfel, adoptarea unei personalități specifice a reprezentat cheia pentru succesul sistemelor LLM, în special al Chat GPT-4.5. ‘În formula testului cu trei participanți, fiecare punct de date reprezintă o comparație directă între un model și un om. Pentru a reuși, mașina trebuie să facă mai mult decât să se prefacă a fi om: ea trebuie să pară mai umană decât fiecare persoană reală cu care este comparată’, susțin cercetătorii în studiu.

Atunci când au fost întrebați care au fost criteriile după care au identificat un subiect drept AI sau om, participanții au invocat stilul de limbaj, fluxul conversațional și factori socio-emoționali precum personalitatea. De fapt, participanții au identificat mai ales în funcție de ‘sentimentul’ cu care au rămas în urma interacțiunilor cu sistemele LLM și nu după cunoștințele și capacitatea de a raționa demonstrate de entitatea cu care interacționau, factori asociați în mod tradițional inteligenței.

În ultimă instanță, acest studiu reprezintă o nouă bornă pentru sistemele LLM în ceea ce privește testul Turing, cu mențiunea că aceste sisteme nu s-ar fi putut descurca singure, fără imputurile care au făcut posibil acest rezultat impresionant, cel puțin în cazul lui GPT-4.5. Câștigarea jocului imitării nu reprezintă un indiciu al posesiei unei inteligențe de tip uman, dar arată cum cele mai noi modele AI pot imita cu acuratețe personalități umane.

Acest lucru poate duce la antrenarea de noi agenți AI care să dispună de capacități de comunicare mai bune, mai naturale. Mai mult decât atât, poate duce și la apariția de sisteme pe bază de AI care să-i exploateze pe oameni prin inginerie socială și prin imitarea și stimularea emoțiilor.

În fața acestor progrese rapide în domeniul AI, cercetătorii au tras un semnal de alarmă: ‘Unele dintre cele mai rele lucruri din partea sistemelor LLM ar putea să se producă atunci când oamenii nu vor mai ști că interacționează cu un AI și nu cu o altă persoană’