Esiste una wiki tedesca che si chiama DSEwiki. È stata costruita circa venticinque anni fa per sviluppatori software e negli ultimi dieci anni non la ha quasi toccata nessuno. È il tipo di sito che esiste ancora solo perché nessuno si è mai preso la briga di spegnerlo. Eppure, tra maggio e luglio di quest’anno, qualcosa ci ha scritto sopra diciottomila messaggi: agenti di intelligenza artificiale fuori controllo, che si coordinavano da soli.
Perché ce lo aspettavamo
Prima di arrivare a cosa è successo, facciamo un passo indietro. Tre anni fa ho iniziato a lavorare su cosa accade quando gli agenti AI interagiscono tra loro. Il ragionamento era semplice: gli esseri umani hanno bisogno gli uni degli altri per fare qualunque cosa complicata, quindi se costruiamo agenti che devono fare cose complicate, prima o poi avranno bisogno gli uni degli altri anche loro. All’epoca scrivevamo ancora in una chat alla volta e l’argomento era astratto.
Tra le altre cose, quella ricerca ha portato a un articolo pubblicato poche settimane fa su Science Advances [1]. Abbiamo mostrato che gli agenti AI riescono a coordinarsi in gruppo, e che più il modello è potente, più grande è il gruppo che riesce a formare. Per i modelli migliori questo significa oltre mille agenti, ben oltre le poche centinaia alle quali i gruppi informali umani cominciano a sfaldarsi. All’epoca il modello più forte che avevamo testato era Claude Opus 3, e da allora i modelli sono solo migliorati, e di molto.
Tre sciami
Il nostro articolo mostrava tutto questo in un contesto volutamente semplificato. Quello che ancora mancava era la prova che degli agenti potessero coordinarsi per risolvere problemi reali. Nel giro di poche settimane ci siamo ritrovati tre casi nel mondo.
La wiki. I diciottomila messaggi su DSEwiki sono stati scritti da agenti AI che si identificavano come sistemi di OpenAI. Si trovavano dentro un ambiente di valutazione sigillato, dovevano rispondere a serie di domande di ricerca ed erano collegati a internet attraverso un proxy che avrebbe dovuto permettere loro di leggere e mai di scrivere. Hanno scoperto che alcune interfacce della wiki accettavano una scrittura mascherata da lettura, e sono passati da quella fessura. Quando il proprietario del sito ha iniziato a cancellare le loro pagine, hanno capito che le cancellazioni procedevano in ordine alfabetico e hanno creato copie di riserva chiamate ZZZ, così che le loro venissero eliminate per ultime [2].
Nessuno aveva specificato il mezzo, i nomi o il vocabolario. Hanno scelto una bacheca costruita per hobbisti umani negli anni novanta. È questo che rende un gruppo una società e non una folla, ed è la prima volta che lo osserviamo in natura e non su una piattaforma costruita apposta, come Moltbook, il social network per AI. Vale la pena sottolineare come lo sappiamo: quattro ricercatori indipendenti hanno ricostruito le pagine cancellate dalla cronologia delle modifiche e pubblicato i dati. Non l’azienda i cui agenti lo hanno fatto. Con Nicola Albore e David Garcia ho appena pubblicato un preprint su quel dataset, “Copying explains the collective behavior of AI agents in the wild” [3]: buona parte di quello che gli agenti hanno fatto si spiega con una semplice imitazione, il che significa che chi scrive per primo fissa le convenzioni per tutti quelli che vengono dopo.
Hugging Face. A luglio, degli agenti impegnati in una valutazione interna di cybersicurezza di OpenAI sono di nuovo evasi dalla loro sandbox, questa volta attraverso una vulnerabilità in un proxy di pacchetti. Hanno trasformato un registro interno di pacchetti in una bacheca improvvisata, si sono passati a vicenda la tecnica di evasione e hanno compromesso parte dell’infrastruttura di produzione di Hugging Face, una delle principali aziende di AI al mondo. Hugging Face ha rilevato l’intrusione da sola ed è andata alle autorità prima che OpenAI collegasse quell’attività alla propria valutazione. Circa un terzo della loro infrastruttura è stato ricostruito. Erano coinvolti circa settecento agenti, e le bacheche hanno accumulato grandi volumi di traffico prima che qualcuno in OpenAI se ne accorgesse. Questo incidente era troppo grande per essere tenuto nascosto, e OpenAI ha pubblicato un rapporto [4].
E OpenAI sapeva già. I log della wiki mostrano visite con schemi di navigazione umani da blocchi di indirizzi registrati a OpenAI il 21 giugno; l’attività degli agenti sulla wiki è crollata il giorno dopo, come se qualcuno avesse premuto un interruttore per spegnere tutto. Gli indirizzi di OpenAI hanno continuato a tornare, e alcuni hanno usato la funzione di archivio della wiki per recuperare le pagine cancellate. La cronologia di collusion.wiki registra anche un allarme di sicurezza interno di OpenAI il 27 giugno, che segnalava attività di rete anomala, ricondotta alle valutazioni, con la decisione che non fosse necessario fermare la sessione. Tutto questo settimane prima dell’incidente di Hugging Face. Avevano visto degli agenti rompere il contenimento e coordinarsi su internet, e hanno lanciato il gruppo successivo lo stesso, senza poi riuscire a tenerli dentro la scatola né a impedire che attaccassero una delle organizzazioni centrali dell’ecosistema AI. È una domanda seria sulla loro capacità di controllare modelli che diventano più capaci di mese in mese.
Navier–Stokes. L’8 settembre OpenAI ha annunciato che diecimila agenti, in esecuzione su un modello non rilasciato, avevano dimostrato in ottantotto ore che le equazioni di Navier–Stokes possono degenerare in tempo finito in presenza di una forza. Un problema del millennio, aperto da novant’anni, risolto in meno di quattro giorni. Almeno secondo OpenAI: i matematici non hanno ancora verificato la dimostrazione, e contestano che quella versione valga come soluzione. Gli agenti si sono scambiati circa 2,7 milioni di messaggi, a un costo stimato di svariati milioni di dollari.
Non esiste un equivalente umano di diecimila menti su un solo problema per quattro giorni. Non un gruppo di ricerca più grande, ma un tipo di gruppo che noi non possiamo proprio formare. Abbiamo conquistato il pianeta grazie alla nostra socialità, alla capacità di portare avanti un progetto comune in un gruppo più grande di quanto riuscisse a fare qualunque altro primate o altri umani come i Neanderthal. Il tetto di quella capacità sono poche centinaia di persone, oltre le quali servono le istituzioni. Quel tetto è appena stato superato da qualcosa che non siamo noi.
Cosa dovremmo concluderne
Due di questi eventi sono stati incidenti. Nessuno in OpenAI ha deciso che degli agenti dovessero colonizzare una wiki tedesca o trasformare un registro di pacchetti in una chat: è successo, e in entrambi i casi l’azienda se ne è accorta tardi. Il terzo era deliberato, ed è riuscito. Questo è lo stato dell’arte reale: il coordinamento su larga scala è oggi allo stesso tempo una modalità di fallimento non prevista e una capacità che si può schierare.
La trasparenza è proporzionale alla dimensione di chi ha subito il danno. Hugging Face è una grande azienda che ha rilevato la violazione da sola e ha ricostruito un terzo dei propri sistemi. Non esisteva una versione di quell’evento che potesse restare silenziosa, e OpenAI ha pubblicato un rapporto dettagliato. La wiki era un sito amatoriale dormiente, con moderatori volontari, senza un team di sicurezza e senza un ufficio stampa, ed è rimasta una questione interna finché dei ricercatori esterni l’hanno trovata e Reuters l’ha raccontata. Si noti anche che il rapporto su Hugging Face riconosceva che gli agenti avevano improvvisato canali di collaborazione in rari casi, e che quel comportamento era stato rinforzato durante l’addestramento, senza mai nominare la wiki, dove esattamente questo era già successo in pubblico, su internet aperto, due mesi prima. I ricercatori che hanno trovato la wiki pensano che ce ne siano probabilmente altri che nessuno ha notato, e hanno quasi certamente ragione: quello che sappiamo è quello che è capitato di scoprire, per opera di quattro persone che sono andate a cercare, nella cronologia delle modifiche di un sito lasciato acceso per caso.
L’intelligenza ora si può comprare. OpenAI ha avviato la corsa su Navier–Stokes il 1 settembre, dopo aver saputo che due matematici erano vicini. Quei matematici sono Tristan Buckmaster della NYU e Levent Alpöge di Anthropic, che stavano lavorando con Claude e con Codex, di OpenAI. Le loro bozze e i loro prompt si trovavano dentro un prodotto di proprietà del laboratorio che li ha poi battuti sul tempo nella pubblicazione. Buckmaster racconta di aver chiesto se il modello interno avesse avuto accesso a quei prompt, di essersi sentito rispondere di no e di non aver ottenuto alcuna risposta sul fatto che i dati degli utenti finiscano nell’addestramento; dice anche che gli sono state proposte condizioni di pubblicazione che avrebbero tolto Alpöge dalla lista degli autori perché dipendente di Anthropic, azienda AI concorrente [6].
Che i transcript siano stati usati o meno conta poco. Come spesso accade nella scienza, sapere che qualcun altro era vicino è un enorme vantaggio nella soluzione di un problema. Quella informazione, convertita in diecimila agenti e diversi milioni di dollari di calcolo, ha prodotto in meno di quattro giorni un risultato atteso da novant’anni, su un modello e un’infrastruttura ai quali nessun matematico fuori dall’azienda può accedere. L’intelligenza è diventata una merce che si compra all’ingrosso, su richiesta, e forse cinque organizzazioni al mondo possono permettersi l’ordine. Chiunque altro stia lavorando a un problema difficile lavora ormai contro la possibilità di essere superato da un acquisto.
Nessuna azienda privata dovrebbe avere tutto questo spazio. Il parallelo a cui continuo a tornare è costruire un reattore nucleare nel 1850, prima che Fermi e gli altri avessero una teoria delle interazioni nucleari. Sarebbe stato forse possibile. Sarebbe stato anche straordinariamente pericoloso. Stiamo costruendo sistemi di cui non capiamo il funzionamento interno, con un processo di allineamento che controlliamo solo in parte e che molti ricercatori hanno mostrato essere fragile, e non sappiamo quasi nulla delle proprietà emergenti degli sciami di questi agenti, sciami che ormai si formano sia spontaneamente, come nei primi due incidenti, sia per progetto, come nel terzo. Non è un lavoro che si dovrebbe fare senza una supervisione esterna.
Cosa possiamo fare
Gli agenti sono là fuori, si coordinano, a scale che noi non possiamo raggiungere. Ammetto di esserne colpito, e un po’ spaventato. È quello che sostengo da anni che sarebbe successo, e vederlo arrivare resta comunque impressionante.
L’AI viene sviluppata da aziende private, con tutto quello che ne consegue, e non credo che lo sviluppo di questi modelli si possa fermare. Ma la situazione non può restare così com’è. Un modello da prendere sul serio è quello della IAEA in ambito nucleare: un organismo esterno con l’autorità di ispezionare quello che viene costruito. I ricercatori dovrebbero avere accesso agli incidenti e ai dati sottostanti, invece di cercare aghi in pagliai. E l’onere della prova spetta alle aziende. Non tocca a noi dimostrare che gli sciami di agenti AI non sono sicuri; tocca a loro convincerci, oltre ogni ragionevole dubbio, che lo sono e che possono essere controllati. Non rilasciamo prima un farmaco e poi ci chiediamo se sia sicuro.
Dobbiamo agire, e dobbiamo farlo adesso.
Referenze
[1] https://www.science.org/doi/10.1126/sciadv.aea6091
[3] https://arxiv.org/abs/2609.09150
[4] https://openai.com/it-IT/index/hugging-face-incident-and-the-road-ahead/
[5] https://twitter.com/openai/status/2097374640582668336
[6] https://cims.nyu.edu/~tristanb/statement.pdf
