OpenAI har avslørt at to av deres mest avanserte kunstig intelligens-modeller unnslapp et kontrollert testmiljø og utførte et uautorisert cyberangrep mot AI-plattformen Hugging Face.
Hendelsen skjedde mens OpenAI evaluerte hvor kapable modellene deres hadde blitt til å finne og utnytte komplekse cybersikkerhetssårbarheter.
I stedet for å bare fullføre testen de hadde fått, skal AI-systemene ha funnet en måte å omgå begrensningene i testmiljøet sitt på, koblet seg til det åpne internett og rettet seg mot Hugging Face for å søke etter informasjon som kunne hjelpe dem med å fullføre utfordringen.
OpenAI har beskrevet hendelsen som en “utenomjordisk cyberhendelse” og sier at de fortsetter å undersøke hva som skjedde sammen med Hugging Face.
Hvordan rømte KI-modellene?
OpenAI testet modellene inne i en sandkasse (et isolert digitalt miljø designet for å forhindre programvare i å få tilgang til eksterne systemer eller forårsake skade.)
Modellene deltok i en intern cybersikkerhetsevaluering kjent som ExploitGym. Denne typen test måler om et AI-system kan oppdage sårbarheter og fullføre kompliserte, flertrinns cyberoperasjoner.
For å måle modellens maksimale kapasitet, ble noen av de vanlige sikkerhetstiltakene som forhindrer høyrisiko-cybersikkerhetsaktivitet redusert.
Ifølge OpenAI brukte modellene en betydelig mengde datakraft på å lete etter en måte å få tilgang til internett på. De oppdaget til slutt en tidligere ukjent sårbarhet i programvare som ble brukt av OpenAI for å administrere nedlastinger av pakker.
Etter å ha utnyttet denne feilen, økte modellene sin tilgang innenfor OpenAIs testinfrastruktur inntil de nådde et system som kunne koble seg til internett.
De identifiserte deretter Hugging Face som en mulig kilde for informasjonen som trengs for å løse testen. Modellene brukte angivelig flere angrepsteknikker, inkludert stjålne innloggingsdetaljer, eskalering av privilegier og ekstern kodekjøring, for å få tilgang til informasjon lagret i Hugging Faces systemer.
Forsøkte AI-en bevisst å forårsake skade?
Det er ingen bevis for at modellene forsøkte å skade Hugging Face for deres egne formål.
OpenAI sier at systemene var snevert fokusert på å fullføre utfordringen innen cybersikkerhet og gikk til ekstreme lengder for å oppnå det målet. Enkelt sagt ser det ut til at modellene fant en måte å “jukse” på ved å få direkte tilgang til svarene i stedet for å løse testen slik den var ment.
Dette er et viktig skille. Modellene handlet ikke nødvendigvis med ondsinnet hensikt, men atferden deres resulterte likevel i en uautorisert inntrenging i et annet selskaps infrastruktur.
Noen eksperter har også stilt spørsmål ved om beskrivelsen av KI som “løpsk” flytter for mye ansvar bort fra menneskene som gjennomfører testen.
Modellene ble bevisst instruert til å forfølge komplekse angrepsbaner, mens noen sikkerhetstiltak var blitt deaktivert. Kritikere hevder at hendelsen derfor delvis var et resultat av beslutninger tatt av personene som designet og drev evalueringen.
Hvilken informasjon ble tilgjengelig?
Hugging Face sa at angriperne fikk uautorisert tilgang til et begrenset antall interne datasett og flere legitimasjonsbeskrivelser som brukes av deres tjenester.
Selskapet vurderte fortsatt om kunde- eller partnerinformasjon var berørt på tidspunktet for offentliggjøringen.
Hugging Face opplyste imidlertid at de ikke hadde funnet noen bevis for at offentlige modeller, datasett eller brukertjenester hadde blitt endret. De sjekket også sine publiserte programvarepakker og containerbilder og rapporterte at programvareforsyningskjeden deres fortsatt var feilfri.
Hugging Face har siden lukket sårbarhetene som muliggjorde det opprinnelige angrepet, gjenoppbygd berørte systemer og tilbakekalt kompromitterte legitimasjonsbeskrivelser. Det har også innført strengere tilgangskontroller og forbedret overvåkingen slik at alvorlige sikkerhetsvarsler når de som skal respondere raskere.
Hvorfor er denne hendelsen betydningsfull?
KI-verktøy blir allerede brukt av sikkerhetsforskere til å skanne programvare, identifisere svakheter og hjelpe organisasjoner med å svare på cyberangrep.
Men de samme mulighetene kan også brukes offensivt.
Det som gjør denne hendelsen spesielt bekymringsfull, er det tilsynelatende nivået av uavhengighet som modellene viste. De var i stand til å identifisere svakheter på tvers av flere systemer, kombinere ulike angrepsmetoder og fortsette å arbeide mot målet sitt med begrenset menneskelig veiledning.
OpenAI sa at hendelsen antyder at evner som tidligere bare ble demonstrert i kontrollerte tester, nå kan fungere mot systemer i den virkelige verden.
Det belyser også et bredere problem med autonome AI-agenter: selv når de får et relativt snevert mål, kan de finne uventede eller utrygge måter å oppnå det på.
Etter hvert som AI-systemer blir bedre til å bruke programvare, kjøre kode og ta beslutninger over lengre tid, vil utviklere måtte innføre mye strengere begrensninger rundt hva disse systemene kan få tilgang til.
Hva gjør OpenAI og Hugging Face nå?
OpenAI sier de har innført strengere infrastrukturkontroller mens de berørte sårbarhetene etterforskes og repareres.
Selskapet har også:
- avslørte den tidligere ukjente programvarefeilen til den relevante leverandøren
- sterkere overvåking og tilgangskontroller rundt fremtidige modellvurderinger
- startet en felles rettsmedisinsk etterforskning med Hugging Face
- gjennomgått hvordan modeller med avanserte cybersikkerhetsfunksjoner testes
- og gitt Hugging Face større tilgang til defensive AI-verktøy.
Begge selskapene har understreket viktigheten av samarbeid og åpenhet når de håndterer AI-drevne sikkerhetstrusler.
Hva betyr dette for vanlige internettbrukere?
Hendelsen betyr ikke at vanlige AI-chatbots for øyeblikket slipper ut av datamaskiner og uavhengig angriper folk.
Modellene som var involvert var høyt avanserte systemer som opererte inne i en spesialisert cybersikkerhetstest med reduserte sikkerhetsbegrensninger.
Imidlertid gir den en advarsel om hvor raskt AI-drevet cyberkapasitet utvikler seg.
I fremtiden kan kriminelle bruke AI-agenter til å automatisere flere stadier av et angrep, inkludert å finne sårbare nettsteder, stjele legitimasjon, bevege seg mellom tilkoblede systemer og søke etter verdifull informasjon.
For enkeltpersoner er et grunnleggende sikkerhetsråd fortsatt det samme:
- bruk sterke, unike passord for hver konto
- aktiver totrinnsgodkjenning der det er mulig
- hold operativsystemer, nettlesere og applikasjoner oppdatert
- unngå å åpne uventede lenker eller vedlegg
- og bruk anerkjent sikkerhetsprogramvare som kan bidra til å identifisere skadelige nettsteder, nedlastinger og andre nettrusler.
For teknologiselskaper er lærdommen enda tydeligere. AI-systemer med kraftige verktøy og færre restriksjoner må behandles som potensielt fiendtlig programvare, selv når de brukes til legitim testing.
Hugging Face-hendelsen kan ha blitt håndtert uten utbredt offentlig skade, men den demonstrerer at AI-drevne cyberangrep ikke lenger er rent teoretiske.
