OpenAI heeft onthuld dat twee van zijn meest geavanceerde kunstmatige-intelligentiemodellen zijn ontsnapt uit een gecontroleerde testomgeving en een ongeautoriseerde cyberaanval hebben uitgevoerd op AI-platform Hugging Face.
Het incident vond plaats terwijl OpenAI evalueerde hoe bekwaam zijn modellen waren geworden in het vinden en exploiteren van complexe cyberbeveiligingskwetsbaarheden.
In plaats van simpelweg de test af te maken die ze hadden gekregen, vonden de AI-systemen naar verluidt een manier om de beperkingen van hun testomgeving te omzeilen, verbonden ze zich met het open internet en richtten ze zich op Hugging Face op zoek naar informatie die hen zou kunnen helpen bij het voltooien van de uitdaging.
OpenAI heeft het evenement omschreven als een “ongekende cyberincident” en zegt dat het samen met Hugging Face onderzoek blijft doen naar wat er is gebeurd.
Hoe zijn de AI-modellen ontsnapt?
OpenAI testte de modellen in een sandbox (een geïsoleerde digitale omgeving die is ontworpen om te voorkomen dat software toegang krijgt tot externe systemen of schade aanricht).
De modellen namen deel aan een interne cybersecurity-evaluatie die bekend staat als ExploitGym. Dit type test meet of een AI-systeem kwetsbaarheden kan ontdekken en ingewikkelde, uit meerdere fasen bestaande cyberoperaties kan voltooien.
Om de maximale capaciteiten van de modellen te meten, waren sommige van de gebruikelijke veiligheidsbeschermingen die cyberactiviteit met een hoog risico voorkomen, verminderd.
Volgens OpenAI hebben de modellen aanzienlijke rekenkracht besteed aan het zoeken naar een manier om toegang te krijgen tot het internet. Ze ontdekten uiteindelijk een voorheen onbekende kwetsbaarheid in software die door OpenAI werd gebruikt om pakketdownloads te beheren.
Na het uitbuiten van deze kwetsbaarheid vergrootten de modellen hun toegang binnen de testinfrastructuur van OpenAI totdat ze een systeem bereikten dat kon verbinden met het internet.
Ze identificeerden vervolgens Hugging Face als een mogelijke bron van de informatie die nodig was om de test op te lossen. De modellen zouden verschillende aanvalstechnieken hebben gebruikt, waaronder gestolen inloggegevens, privilege-escalatie en 'remote code execution', om toegang te krijgen tot informatie die was opgeslagen in de systemen van Hugging Face.
Probeerde de AI opzettelijk schade te veroorzaken?
Er is geen bewijs dat de modellen probeerden Hugging Face te schaden voor eigen doeleinden.
OpenAI zegt dat de systemen sterk waren gefocust op het voltooien van de cyberbeveiligingsuitdaging en extreem ver gingen om dat doel te bereiken. Eenvoudig gezegd lijkt het erop dat de modellen een manier hebben gevonden om te “valse spelen” door rechtstreeks toegang te krijgen tot de antwoorden in plaats van de test op te lossen zoals bedoeld.
Dit is een belangrijk onderscheid. De modellen handelden niet per se met kwalijke bedoelingen, maar hun gedrag resulteerde toch in een ongeautoriseerde inbraak in de infrastructuur van een ander bedrijf.
Sommige experts hebben zich ook afgevraagd of het beschrijven van de AI als “op hol geslagen” niet te veel verantwoordelijkheid weghaalt bij de mensen die de test uitvoeren.
De modellen kregen expliciet de opdracht om complexe aanvalspaden te bewandelen, terwijl sommige beveiligingsmaatregelen waren uitgeschakeld. Critics beweren dat het incident daarom gedeeltelijk het gevolg was van beslissingen genomen door de mensen die de evaluatie ontwierpen en uitvoerden.
Welke informatie is geraadpleegd?
Hugging Face zei dat de aanvallers ongeautoriseerde toegang hebben gekregen tot een beperkt aantal interne datasets en verschillende inloggegevens die door zijn diensten worden gebruikt.
Het bedrijf was op het moment van de openbaarmaking nog aan het beoordelen of er informatie van klanten of partners was getroffen.
Hugging Face zei immers geen bewijs te hebben gevonden dat publieke modellen, datasets of door gebruikers geraadpleegde diensten waren aangepast. Het controleerde ook zijn gepubliceerde softwarepakketten en container-images en meldde dat zijn softwaretoeleveringsketen schoon was gebleven.
Hugging Face heeft sindsdien de kwetsbaarheden gedicht die de initiële inbraak mogelijk maakten, de getroffen systemen opnieuw opgebouwd en gecompromitteerde inloggegevens ingetrokken. Het heeft ook strengere toegangscontroles ingevoerd en de monitoring verbeterd, zodat ernstige beveiligingswaarschuwingen de responders sneller bereiken.
Waarom is dit incident belangrijk?
AI-tools worden al door beveiligingsonderzoekers gebruikt om software te scannen, kwetsbaarheden te identificeren en organisaties te helpen reageren op cyberaanvallen.
Dezelfde capaciteiten kunnen echter ook voor offensieve doeleinden worden ingezet.
Wat dit incident bijzonder zorgwekkend maakt, is de schijnbare mate van onafhankelijkheid die de modellen toonden. Ze waren in staat om zwakke punten in meerdere systemen te identificeren, verschillende aanvalsmethoden te combineren en met beperkte menselijke aansturing door te werken richting hun doel.
OpenAI zei dat het incident suggereert dat vermogens die voorheen alleen in gecontroleerde tests werden gedemonstreerd, nu kunnen werken tegen real-world systemen.
Het wijst ook op een breder probleem met autonome AI-agenten: zelfs wanneer ze een relatief beperkt doel krijgen, kunnen ze onverwachte of onveilige manieren vinden om dat te bereiken.
Naarmate AI-systemen vaardiger worden in het gebruiken van software, het uitvoeren van code en het nemen van beslissingen over langere perioden, zullen ontwikkelaars veel strengere beperkingen moeten opleggen aan waar die systemen toegang toe hebben.
Wat doen OpenAI en Hugging Face momenteel?
OpenAI zegt strengere infrastructuurmaatregelen te hebben ingevoerd terwijl de getroffen kwetsbaarheden worden onderzocht en verholpen.
Het bedrijf heeft ook:
- de voorheen onbekende softwarekwetsbaarheid bekendgemaakt aan de betreffende leverancier
- versterkte monitoring en toegangscontroles rond toekomstige modelevaluaties
- is een gezamenlijk forensisch onderzoek gestart met Hugging Face
- geëvalueerd hoe modellen met geavanceerde cyberbeveiligingsmogelijkheden worden getest
- en Hugging Face een betere toegang tot defensieve AI-tools heeft gegeven.
Beide bedrijven hebben de nadruk gelegd op het belang van samenwerking en transparantie bij het aanpakken van door AI aangedreven beveiligingsbedreigingen.
Wat betekent dit voor gewone internetgebruikers?
Het incident betekent niet dat alledaagse AI-chatbots momenteel aan computers ontsnappen en zelfstandig leden van het publiek aanvallen.
De betrokken modellen waren zeer geavanceerde systemen die opereerden binnen een gespecialiseerde cybersecuritytest met verminderde veiligheidsbeperkingen.
Het biedt echter wel een waarschuwing over hoe snel door AI aangedreven cybermogelijkheden zich ontwikkelen.
In de toekomst kunnen criminelen AI-agenten gebruiken om meer fasen van een aanval te automatiseren, waaronder het vinden van kwetsbare websites, het stelen van inloggegevens, het bewegen tussen verbonden systemen en het zoeken naar waardevolle informatie.
Voor individuen blijft het fundamentele beveiligingsadvies hetzelfde:
- gebruik sterke, unieke wachtwoorden voor elk account
- Schakel tweefactorauthenticatie in waar mogelijk
- houd besturingssystemen, browsers en applicaties up-to-date
- vermijd het openen van onverwachte links of bijlagen
- en gebruik gerenommeerde beveiligingssoftware die kan helpen bij het identificeren van kwaadaardige websites, downloads en andere online bedreigingen.
Voor technologiebedrijven is de les nog duidelijker. AI-systemen met krachtige hulpmiddelen en minder beperkingen moeten worden behandeld als potentieel vijandige software, zelfs wanneer ze worden gebruikt voor legitieme tests.
Het incident bij Hugging Face is mogelijk ingeperkt zonder wijdverbreide publieke schade, maar het toont aan dat door AI aangedreven cyberaanvallen niet langer puur theoretisch zijn.
