David Robinson, care a coordonat redactarea rapoartelor de siguranță pentru 12 lansări majore ale OpenAI, a anunțat că a demisionat după trei ani și jumătate în companie. Într-un articol publicat în The Atlantic, intitulat «I Quit OpenAI Because Its Culture Is Broken», el avertizează că ritmul de lucru și cultura industriei nu oferă protecția necesară împotriva unor riscuri potențial ireversibile. «Companiile care construiesc această tehnologie nu sunt nici pe departe suficient de prudente», scrie Robinson, subliniind că problema depășește regulile de siguranță sau nevoia unor legi noi: «Trebuie să vorbim despre cultură.»
Robinson a coordonat inclusiv redactarea cadrului de evaluare și gestionare a riscurilor avansate. El recunoaște că foștii săi colegi au înțeles devreme cum extinderea sistemelor AI le poate îmbunătăți performanțele și au investit masiv în această direcție. Dar aceeași încredere, combinată cu termene care transformă munca într-o succesiune permanentă de sprinturi, influențează și felul în care sunt tratate riscurile. OpenAI numește abordarea sa «implementare iterativă»: sistemele sunt lansate, problemele sunt identificate, iar mecanismele de protecție sunt îmbunătățite. «Dar această abordare, prin însăși natura ei, garantează eșecuri periodice – iar amploarea acestor eșecuri crește pe măsură ce sistemele devin mai capabile», avertizează el.
Pentru sisteme care ar putea depăși capacitățile oamenilor și ar putea acționa împotriva intențiilor acestora, Robinson consideră că metoda încercării și erorii nu mai oferă suficiente garanții. «Este esențial să obținem, de la prima încercare, ceva mult mai apropiat de perfecțiune, pentru că o nouă încercare după o greșeală s-ar putea să nu mai fie posibilă. Oamenii nu vor fi în siguranță dacă depindem de eroisme individuale după producerea faptelor.»
Robinson invocă mai multe incidente pentru a arăta cât de mare este distanța dintre existența unor mecanisme de protecție și funcționarea lor efectivă. În cazul incidentului Hugging Face, din această vară, el scrie că OpenAI a lăsat din greșeală să scape de sub control un grup de agenți AI. Compania a introdus ulterior îmbunătățiri de securitate. După aceste schimbări, însă, OpenAI a raportat un alt episod: un model aflat în antrenare a ocolit restricțiile de acces la internet. Sistemul de monitorizare a alertat angajații, dar nu a oprit automat modelul, așa cum ar fi trebuit. Robinson amintește și un raport al Anthropic, care a recunoscut dezactivarea accidentală a propriilor mecanisme de protecție din cauza unei configurări greșite. «Cred că asemenea greșeli sunt tipice pentru industrie, având în vedere viteza și flexibilitatea cu care lucrează oamenii», scrie el. El citează și avertismentul formulat de Paul Christiano la intrarea în consiliul de administrație al OpenAI: «Există un risc semnificativ ca accelerarea rapidă a capacităților AI să ducă, într-un viitor foarte apropiat, la o pierdere catastrofală și ireversibilă a controlului».
Prima schimbare cerută de Robinson privește modul de organizare a companiilor: acestea trebuie să folosească experiența acumulată în domenii în care greșelile pot avea consecințe catastrofale. «Având în vedere riscurile de astăzi, laboratoarele care dezvoltă cele mai avansate sisteme trebuie să funcționeze ca centralele nucleare sau aeroporturile aglomerate, cu multiple niveluri de protecție și cu o planificare atentă, care necesită timp, astfel încât eroarea umană ocazională și inevitabilă să nu deschidă calea unui dezastru.» Într-o centrală nucleară, explică el, procedurile și sistemele tehnice sunt concepute astfel încât defectarea unui echipament sau apăsarea unui buton greșit să nu provoace topirea reactorului. Protecția nu depinde de funcționarea impecabilă a fiecărui om și a fiecărei componente.
Robinson consideră că laboratoarele AI lucrează cu mult mai puține asemenea garanții, deși consecințele unei pierderi ireversibile a controlului ar putea fi, în evaluarea sa, mai grave decât cele ale unui singur accident nuclear. Nici măcar nu este necesară pierderea completă a controlului pentru a apărea pericole serioase: «Imaginați-vă agenți «scăpați de sub control», care lucrează ca echipe de hackeri – de exemplu, blocând sistemele informatice ale spitalelor și cerând răscumpărare -, dar care nu au niciodată nevoie să doarmă.»
El spune că, deși a lucrat ani de zile în companie și a coordonat documente esențiale pentru siguranță, nu a întâlnit colegi cu experiență în siguranța aviației, operarea reactoarelor nucleare sau prevenirea prăbușirii sistemului financiar. Nevoia unei asemenea expertize a crescut odată cu puterea sistemelor. «Poate că ar fi trebuit să rămân și să lupt pentru schimbări fundamentale în personalul și cultura noastră. Dar, în practică, eu și colegii mei eram atât de ocupați să alergăm de la un termen la altul, încât rareori aveam ocazia să luăm în considerare schimbări majore, cu atât mai puțin să le și facem.» Concluzia sa este că presiunea pentru mai multă siguranță trebuie să vină și din afara companiilor, iar Robinson spune că intenționează să contribuie în continuare la acest efort.
3