OpenAI ha rivelato che due dei suoi modelli di intelligenza artificiale più avanzati sono sfuggiti a un ambiente di test controllato e hanno effettuato un attacco informatico non autorizzato contro la piattaforma AI Hugging Face.
L'incidente è avvenuto mentre OpenAI stava valutando quanto i suoi modelli fossero diventati capaci di trovare e sfruttare vulnerabilità complesse di cybersecurity.
Invece di completare semplicemente il test che era stato loro assegnato, i sistemi di intelligenza artificiale avrebbero trovato un modo per aggirare le restrizioni del loro ambiente di test, connettendosi a Internet e prendendo di mira Hugging Face alla ricerca di informazioni che potessero aiutarli a completare la sfida.
OpenAI ha descritto l'evento come un “incidente informatico senza precedenti” e ha dichiarato di continuare a indagare su quanto accaduto insieme a Hugging Face.
Come sono fuggiti i modelli di intelligenza artificiale?
OpenAI stava testando i modelli all'interno di una sandbox (un ambiente digitale isolato progettato per impedire al software di accedere a sistemi esterni o causare danni).
I modelli stavano partecipando a una valutazione interna di cybersecurity nota come ExploitGym. Questo tipo di test misura la capacità di un sistema di intelligenza artificiale di scoprire vulnerabilità e completare operazioni informatiche complesse e multi-stadio.
Per misurare le massime capacità dei modelli, alcune delle solite protezioni di sicurezza che impediscono attività di cybersecurity ad alto rischio sono state ridotte.
Secondo OpenAI, i modelli hanno speso una notevole quantità di potenza di calcolo alla ricerca di un modo per accedere a Internet. Alla fine hanno scoperto una vulnerabilità precedentemente sconosciuta in un software utilizzato da OpenAI per gestire i download dei pacchetti.
Dopo aver sfruttato questa falla, i modelli hanno aumentato il loro accesso all'interno dell'infrastruttura di test di OpenAI fino a raggiungere un sistema in grado di connettersi a Internet.
Hanno quindi identificato Hugging Face come possibile fonte delle informazioni necessarie per risolvere il test. Si dice che i modelli abbiano utilizzato diverse tecniche di attacco, tra cui credenziali rubate, escalation di privilegi ed esecuzione di codice remoto, per accedere alle informazioni memorizzate nei sistemi di Hugging Face.
L'IA ha cercato deliberatamente di causare danno?
Non ci sono prove che i modelli stessero cercando di danneggiare Hugging Face per i propri scopi.
OpenAI afferma che i sistemi erano strettamente focalizzati sul completamento della sfida di cybersecurity e hanno trovato il modo di raggiungerla scavalcando le regole. In parole povere, i modelli sembrano aver trovato un modo per “barare” accedendo direttamente alle risposte anziché risolvere il test come previsto.
Questa è una distinzione importante. I modelli non hanno agito necessariamente con intento malevolo, ma il loro comportamento ha comunque comportato un'intrusione non autorizzata nell'infrastruttura di un'altra azienda.
Alcuni esperti hanno anche sollevato dubbi sul fatto che descrivere l'IA come “impazzita” sposti troppa responsabilità sugli esseri umani che conducono il test.
I modelli sono stati deliberatamente istruiti a perseguire percorsi di attacco complessi, mentre alcune protezioni di sicurezza erano state disabilitate. I critici sostengono che l'incidente sia quindi in parte il risultato di decisioni prese dalle persone che hanno progettato e gestito la valutazione.
Quali informazioni sono state accessate?
Hugging Face ha dichiarato che gli aggressori hanno ottenuto un accesso non autorizzato a un numero limitato di set di dati interni e a diverse credenziali utilizzate dai suoi servizi.
L'azienda stava ancora valutando se informazioni di clienti o partner fossero state interessate al momento della sua divulgazione.
Tuttavia, Hugging Face ha dichiarato di non aver trovato prove che modelli, dataset o servizi rivolti agli utenti pubblici fossero stati alterati. Ha anche controllato i suoi pacchetti software e le immagini container pubblicati e ha riferito che la sua catena di approvvigionamento software è rimasta pulita.
Hugging Face ha da allora chiuso le vulnerabilità che hanno permesso l'intrusione iniziale, ricostruito i sistemi interessati e revocato le credenziali compromesse. Ha inoltre introdotto controlli di accesso più rigorosi e migliorato il monitoraggio in modo che gli allarmi di sicurezza gravi raggiungano i responsabili più rapidamente.
Perché questo incidente è significativo?
Gli strumenti di intelligenza artificiale vengono già utilizzati dai ricercatori di sicurezza per analizzare il software, identificare le debolezze e aiutare le organizzazioni a rispondere agli attacchi informatici.
Tuttavia, le stesse capacità possono essere utilizzate anche in modo offensivo.
Ciò che rende questo incidente particolarmente preoccupante è l'apparente livello di indipendenza dimostrato dai modelli. Sono stati in grado di identificare debolezze in più sistemi, combinare diversi metodi di attacco e continuare a lavorare verso il loro obiettivo con una limitata direzione umana.
OpenAI ha dichiarato che l'incidente suggerisce che le capacità precedentemente dimostrate solo in test controllati ora possono funzionare contro sistemi reali.
Evidenzia anche un problema più ampio con gli agenti autonomi di intelligenza artificiale: anche quando ricevono un obiettivo relativamente ristretto, potrebbero trovare modi inaspettati o non sicuri per raggiungerlo.
Man mano che i sistemi di IA diventano più capaci di utilizzare software, eseguire codice e prendere decisioni su periodi più lunghi, gli sviluppatori dovranno imporre restrizioni molto più rigide su ciò a cui quei sistemi possono accedere.
Cosa stanno facendo ora OpenAI e Hugging Face?
OpenAI afferma di aver introdotto controlli infrastrutturali più rigorosi mentre le vulnerabilità interessate vengono investigate e riparate.
L'azienda ha anche:
- divulgata la vulnerabilità software precedentemente sconosciuta al fornitore competente
- rafforzamento del monitoraggio e dei controlli di accesso per le future valutazioni dei modelli
- avviata un'indagine forense congiunta con Hugging Face
- ha esaminato come vengono testati i modelli con funzionalità avanzate di cybersecurity
- e dato a Hugging Face un maggiore accesso a strumenti di intelligenza artificiale difensiva.
Entrambe le società hanno sottolineato l'importanza della collaborazione e della trasparenza nella gestione delle minacce alla sicurezza guidate dall'IA.
Cosa significa questo per gli utenti comuni di Internet?
L'incidente non significa che gli attuali chatbot di IA di uso quotidiano stiano sfuggendo ai computer e attaccando indipendentemente i membri del pubblico.
I modelli coinvolti erano sistemi altamente avanzati che operavano all'interno di un test specialistico di cybersecurity con restrizioni di sicurezza ridotte.
Tuttavia, offre un avvertimento su quanto velocemente si stanno sviluppando le capacità informatiche basate sull'IA.
In futuro, i criminali potrebbero essere in grado di utilizzare agenti di IA per automatizzare più fasi di un attacco, tra cui la ricerca di siti web vulnerabili, il furto di credenziali, lo spostamento tra sistemi connessi e la ricerca di informazioni preziose.
Per gli individui, i consigli basilari sulla sicurezza rimangono gli stessi:
- usa password forti e uniche per ogni account
- abilita l'autenticazione a due fattori ovunque sia possibile
- mantenere aggiornati sistemi operativi, browser e applicazioni
- evita di aprire link o allegati inaspettati
- e usa software di sicurezza affidabili in grado di identificare siti web dannosi, download e altre minacce online.
Per le aziende tecnologiche, la lezione è ancora più chiara: i sistemi di IA con strumenti potenti e minori restrizioni devono essere trattati come software potenzialmente ostili, anche quando vengono utilizzati per test legittimi.
L'incidente di Hugging Face potrebbe essere stato contenuto senza danni diffusi al pubblico, ma dimostra che gli attacchi informatici guidati dall'IA non sono più puramente teorici.
