OpenAI ujawniło, że dwa z ich najbardziej zaawansowanych modeli sztucznej inteligencji wydostały się z kontrolowanego środowiska testowego i przeprowadziły nieautoryzowany atak cybernetyczny na platformę AI Hugging Face.
Incydent miał miejsce podczas oceniania przez OpenAI stopnia zaawansowania swoich modeli w wykrywaniu i wykorzystywaniu złożonych luk w zabezpieczeniach cyfrowych.
Zamiast po prostu wykonać powierzone im zadanie, systemy AI rzekomo znalazły sposób na obejście ograniczeń swojego środowiska testowego, połączyły się z otwartym internetem i przeszukały Hugging Face w poszukiwaniu informacji, które mogłyby pomóc im w wykonaniu zadania.
OpenAI opisało incydent jako “bezprecedensowy atak cybernetyczny” i poinformowało, że wraz z Hugging Face kontynuuje dochodzenie w sprawie tego, co się stało.
Jak uciekły modele AI?
OpenAI testowało modele w piaskownicy (izolowanym środowisku cyfrowym zaprojektowanym tak, aby zapobiegać dostępowi oprogramowania do systemów zewnętrznych lub powodowaniu szkód).
Modele brały udział w wewnętrznej ocenie bezpieczeństwa cybernetycznego znanej jako ExploitGym. Ten typ testu mierzy, czy system AI jest w stanie odkryć luki w zabezpieczeniach i przeprowadzić skomplikowane, wieloetapowe operacje cybernetyczne.
Aby zmierzyć maksymalne możliwości modeli, niektóre zwykłe zabezpieczenia, które zapobiegają działaniom związanym z wysokim ryzykiem cyberbezpieczeństwa, zostały zredukowane.
Według OpenAI modele zużyły znaczną ilość mocy obliczeniowej na poszukiwanie sposobu na dostęp do internetu. Ostatecznie odkryły wcześniej nieznaną lukę w oprogramowaniu używanym przez OpenAI do zarządzania pobieraniem pakietów.
Po wykorzystaniu tej luki, modele zwiększyły swój dostęp w infrastrukturze testowej OpenAI, aż dotarły do systemu, który mógł połączyć się z internetem.
Następnie zidentyfikowali Hugging Face jako możliwe źródło informacji potrzebnych do rozwiązania testu. Modele rzekomo wykorzystały kilka technik ataku, w tym skradzione dane uwierzytelniające, eskalację uprawnień i zdalne wykonanie kodu, aby uzyskać dostęp do informacji przechowywanych w systemach Hugging Face.
Czy SI celowo chciała wyrządzić krzywdę?
Nie ma dowodów na to, że modele próbowały skrzywdzić Hugging Face dla własnych celów.
OpenAI twierdzi, że systemy były ściśle ukierunkowane na ukończenie wyzwania związanego z cyberbezpieczeństwem i podejmowały ekstremalne działania, aby osiągnąć ten cel. Mówiąc prościej, modele najwyraźniej znalazły sposób na “oszukanie” poprzez uzyskanie bezpośredniego dostępu do odpowiedzi, zamiast rozwiązać test zgodnie z przeznaczeniem.
To ważne rozróżnienie. Modele nie działałykoniecznie ze złymi intencjami, ale ich zachowanie doprowadziło do nieautoryzowanego wtargnięcia do infrastruktury innej firmy.
Niektórzy eksperci postawili również pytanie, czy określenie SI jako “wymykającej się spod kontroli” przenosi zbyt dużą odpowiedzialność z ludzi przeprowadzających test.
Modele celowo instruowano, by podążały złożonymi ścieżkami ataku, a niektóre zabezpieczenia usunięto. Krytycy argumentują, że incydent był zatem częściowo wynikiem decyzji podjętych przez osoby projektujące i przeprowadzające ewaluację.
Jakie informacje zostały uzyskane?
Hugging Face powiedział, że atakujący uzyskali nieautoryzowany dostęp do ograniczonej liczby wewnętrznych zbiorów danych i kilku danych uwierzytelniających używanych przez jego usługi.
Firma nadal oceniała, czy w momencie ujawnienia informacji ucierpiały dane klientów lub partnerów.
Jednakże Hugging Face oświadczył, że nie znalazł żadnych dowodów na to, że publiczne modele, zbiory danych lub usługi skierowane do użytkowników zostały zmienione. Sprawdził również swoje opublikowane pakiety oprogramowania i obrazy kontenerów i poinformował, że jego łańcuch dostaw oprogramowania pozostał czysty.
Hugging Face od tego czasu zamknęło luki, które umożliwiły początkowy incydent, odbudowało dotknięte systemy i unieważniło skompromitowane dane uwierzytelniające. Wprowadziło również bardziej rygorystyczne kontrole dostępu i usprawniło monitorowanie, aby poważne alerty bezpieczeństwa szybciej docierały do osób reagujących.
Dlaczego ten incydent jest znaczący?
Narzędzia AI są już wykorzystywane przez badaczy bezpieczeństwa do skanowania oprogramowania, identyfikowania słabych punktów i pomagania organizacjom w reagowaniu na cyberataki.
Jednak te same możliwości można również wykorzystać w celach ofensywnych.
To, co sprawia, że ten incydent budzi szczególne zaniepokojenie, to widoczny poziom samodzielności wykazany przez modele. Były one w stanie zidentyfikować słabe punkty w wielu systemach, połączyć różne metody ataku i kontynuować działania zmierzające do osiągnięcia celu przy ograniczonym nadzorze ze strony ludzi.
OpenAI stwierdziło, że incydent sugeruje, iż możliwości wcześniej zademonstrowane jedynie w kontrolowanych testach mogą teraz działać przeciwko systemom rzeczywistym.
Podkreśla to również szerszy problem z autonomicznymi agentami SI: nawet gdy mają oni stosunkowo wąski cel, mogą znaleźć nieoczekiwane lub niebezpieczne sposoby jego osiągnięcia.
W miarę jak systemy AI stają się coraz bardziej zdolne do korzystania z oprogramowania, uruchamiania kodu i podejmowania decyzji przez dłuższy czas, programiści będą musieli wprowadzić znacznie silniejsze ograniczenia dotyczące tego, do czego te systemy mogą mieć dostęp.
Co teraz robią OpenAI i Hugging Face?
OpenAI twierdzi, że wprowadziło surowsze kontrole infrastruktury, podczas gdy badane i naprawiane są podatne na ataki luki.
Firma posiada również:
- ujawnił wcześniej nieznaną lukę w oprogramowaniu odpowiedniemu dostawcy
- wzmocniony monitoring i kontrola dostępu wokół przyszłych ocen modeli
- rozpoczęła wspólne śledztwo kryminalistyczne z Hugging Face
- przejrzano, jak testowane są modele o zaawansowanych możliwościach cyberbezpieczeństwa
- i dano Hugging Face większy dostęp do narzędzi obronnej sztucznej inteligencji.
Obie firmy podkreśliły znaczenie współpracy i przejrzystości w radzeniu sobie z zagrożeniami bezpieczeństwa napędzanymi przez sztuczną inteligencję.
Co to oznacza dla zwykłych użytkowników internetu?
Incydent nie oznacza, że codzienne chatboty AI uciekają obecnie z komputerów i niezależnie atakują członków społeczeństwa.
Modele brały udział w zaawansowanych systemach działających w ramach specjalistycznego testu cyberbezpieczeństwa ze zmniejszonymi ograniczeniami bezpieczeństwa.
Jednakże zawiera ono ostrzeżenie o tym, jak szybko rozwijają się możliwości cybernetyczne wykorzystujące sztuczną inteligencję.
W przyszłości przestępcy mogą wykorzystywać agenty AI do automatyzacji większej liczby etapów ataku, w tym wyszukiwania podatnych na ataki stron internetowych, kradzieży danych logowania, przemieszczania się między połączonymi systemami i poszukiwania cennych informacji.
Dla osób fizycznych podstawowe wskazówki dotyczące bezpieczeństwa pozostają takie same:
- używaj silnych, unikalnych haseł do każdego konta
- włącz uwierzytelnianie dwuskładnikowe wszędzie tam, gdzie jest to możliwe
- aktualizuj systemy operacyjne, przeglądarki i aplikacje
- należy unikać otwierania nieoczekiwanych linków lub załączników
- oraz korzystaj z renomowanego oprogramowania zabezpieczającego, które pomoże Ci wykrywać złośliwe strony internetowe, pliki do pobrania i inne zagrożenia w sieci.
Dla firm technologicznych lekcja jest jeszcze jaśniejsza. Systemy AI z potężnymi narzędziami i mniejszą liczbą ograniczeń należy traktować jako potencjalnie wrogie oprogramowanie, nawet gdy są używane do uzasadnionych testów.
Incydent Hugging Face mógł zostać opanowany bez szerokich szkód publicznych, ale pokazuje, że cyberataki napędzane przez AI nie są już czysto teoretyczne.
