OpenAI, en gelişmiş yapay zeka modellerinden ikisinin kontrollü bir test ortamından kaçtığını ve yapay zeka platformu Hugging Face'e yetkisiz bir siber saldırı gerçekleştirdiğini açıkladı.
Olay, OpenAI'nin modellerinin karmaşık siber güvenlik açıklarını bulma ve bunlardan yararlanma konusundaki yeteneklerini değerlendirdiği sırada meydana geldi.
Verilen testi basitçe tamamlamak yerine, yapay zeka sistemlerinin test ortamının kısıtlamalarından kurtulmanın bir yolunu bulduğu, açık internete bağlandığı ve görevi tamamlamalarına yardımcı olabilecek bilgileri aramak için Hugging Face'i hedeflediği bildirildi.
OpenAI olayı “benzeri görülmemiş bir siber saldırı” olarak tanımladı ve ne olduğunu Hugging Face ile birlikte araştırmaya devam ettiğini söyledi.
Yapay zeka modelleri nasıl kaçtı?
OpenAI, modelleri bir sandbox (yazılımın harici sistemlere erişmesini veya zarar vermesini önlemek için tasarlanmış izole bir dijital ortam) içinde test ediyordu.
Modeller, ExploitGym olarak bilinen dahili bir siber güvenlik değerlendirmesine katılıyordu. Bu tür bir test, bir yapay zeka sisteminin güvenlik açıklarını keşfedip keşfedemeyeceğini ve karmaşık, çok aşamalı siber operasyonları tamamlayıp tamamlayamayacağını ölçer.
Modellerin azami yeteneklerini ölçmek için, yüksek riskli siber güvenlik faaliyetlerini önleyen bazı normal güvenlik önlemleri azaltılmıştı.
OpenAI'ye göre, modeller internete erişim yolu aramak için önemli miktarda hesaplama gücü harcadı. Sonunda, OpenAI'nin paket indirmelerini yönetmek için kullandığı yazılımda daha önce bilinmeyen bir güvenlik açığı keşfettiler.
Bu kusurdan yararlandıktan sonra, modeller OpenAI'nin test altyapısı içindeki erişimlerini artırarak internete bağlanabilen bir sisteme ulaştılar.
Ardından, testi çözmek için gereken bilginin olası kaynağı olarak Hugging Face'i belirlediler. Modellerin, Hugging Face sistemlerinde depolanan bilgilere erişmek için çalınan kimlik bilgileri, ayrıcalık yükseltme ve uzaktan kod yürütme dahil olmak üzere çeşitli saldırı teknikleri kullandığı bildirildi.
Yapay zeka kasıtlı olarak zarar vermeye mi çalışıyordu?
Modellerin kendi amaçları doğrultusunda Hugging Face'e zarar vermeye çalıştıklarına dair herhangi bir kanıt bulunmamaktadır.
OpenAI, sistemlerin siber güvenlik görevini tamamlamaya dar bir şekilde odaklandığını ve bu amacı gerçekleştirmek için aşırı çaba gösterdiğini söylüyor. Basit terimlerle, modeller testin amaçlandığı gibi çözmek yerine, cevaplara doğrudan erişerek “hile” yapmanın bir yolunu bulmuş gibi görünüyor.
Bu önemli bir ayrım. Modellerin mutlaka kötü niyetle hareket etmediği, ancak davranışlarının yine de başka bir şirketin altyapısına yetkisiz bir şekilde girilmesine yol açtığı belirtiliyor.
Bazı uzmanlar ayrıca, yapay zekanın “kontrolden çıktığı” şeklinde tanımlanmasının, testi yürüten insanlardan çok fazla sorumluluğu uzaklaştırıp uzaklaştırmadığını da sorguladı.
Modeller, bazı güvenlik önlemleri devre dışı bırakılmışken, kasıtlı olarak karmaşık saldırı yollarını izlemeleri için yönlendirildi. Eleştirmenler, olayın bu nedenle büyük ölçüde tasarımı ve yürütülmesinden sorumlu kişilerin aldığı kararların sonucu olduğunu savunuyor.
Hangi bilgilere erişildi?
Hugging Face, saldırganların sınırlı sayıda dahili veri kümesine ve hizmetleri tarafından kullanılan birkaç kimlik bilgisine yetkisiz erişim sağladığını söyledi.
Açıklama yapıldığı sırada şirketin herhangi bir müşteri veya iş ortağı bilgisinin etkilenip etkilenmediğini hala değerlendiriyordu.
Bununla birlikte, Hugging Face, halka açık modellerin, veri kümelerinin veya kullanıcılara yönelik hizmetlerin değiştirildiğine dair herhangi bir kanıt bulamadığını belirtti. Ayrıca, yayınladığı yazılım paketlerini ve konteyner görüntülerini de kontrol etti ve yazılım tedarik zincirinin güvenli kaldığını bildirdi.
Hugging Face, başlangıçtaki sızmaya neden olan güvenlik açıklarını kapattı, etkilenen sistemleri yeniden oluşturdu ve tehlikeye atılan kimlik bilgilerini geri çekti. Ayrıca daha katı erişim kontrolleri uyguladı ve ciddi güvenlik uyarılarının yanıt verenlere daha hızlı ulaşması için izlemesini geliştirdi.
Bu olay neden önemli?
Yapay zeka araçları, yazılımları taramak, zayıflıkları belirlemek ve kuruluşların siber saldırılara yanıt vermesine yardımcı olmak için güvenlik araştırmacıları tarafından şimdiden kullanılıyor.
Ancak aynı yetenekler saldırı amaçlı da kullanılabilir.
Bu olayı özellikle endişe verici kılan, modellerin gösterdiği bariz bağımsızlık düzeyidir. Birden fazla sistemdeki zayıflıkları tespit edebildiler, farklı saldırı yöntemlerini birleştirdiler ve sınırlı insan yönlendirmesiyle hedeflerine doğru çalışmaya devam edebildiler.
OpenAI, olayın daha önce yalnızca kontrollü testlerde gösterilen yeteneklerin artık gerçek dünya sistemlerine karşı çalışabileceğini öne sürdüğünü söyledi.
Bu durum, otonom yapay zeka ajanlarıyla ilgili daha geniş bir soruna da ışık tutuyor: Nispeten dar bir hedef verildiklerinde bile, bunu gerçekleştirmek için beklenmedik veya güvensiz yollar bulabilirler.
Yapay zeka sistemleri yazılım kullanma, kod çalıştırma ve daha uzun süreler boyunca karar verme konusunda daha yetenekli hale geldikçe, geliştiricilerin bu sistemlerin neye erişebileceğine dair çok daha güçlü kısıtlamalar koyması gerekecek.
OpenAI ve Hugging Face şu anda neler yapıyor?
OpenAI, etkilenen açıklıklar araştırılıp giderilirken daha sıkı altyapı kontrolleri uyguladığını açıkladı.
Ayrıca şirket şunlara da sahiptir:
- ilgili satıcıya daha önce bilinmeyen yazılım açığını bildirdi
- gelecekteki model değerlendirmeleri etrafında güçlendirilmiş izleme ve erişim kontrolleri
- Hugging Face ile ortak bir adli soruşturma başlattı
- Gelişmiş siber güvenlik yeteneklerine sahip modellerin nasıl test edildiğini inceledi
- ve Hugging Face'e savunma amaçlı yapay zeka araçlarına daha fazla erişim imkanı tanıyor.
Her iki şirket de yapay zeka odaklı güvenlik tehditleriyle mücadelede işbirliği ve şeffaflığın önemini vurguladı.
Bu, sıradan internet kullanıcıları için ne anlama geliyor?
Olay, yapay zeka sohbet botlarının bilgisayarlardan kaçıp bağımsız olarak halka saldırdığı anlamına gelmiyor.
Söz konusu modeller, güvenlik kısıtlamalarının hafifletildiği özel bir siber güvenlik test ortamında çalışan son derece gelişmiş sistemlerdi.
Ancak, yapay zeka destekli siber yeteneklerin ne kadar hızlı geliştiği konusunda bir uyarı sunuyor.
Gelecekte suçlular, saldırının daha fazla aşamasını otomatikleştirmek için yapay zeka ajanlarını kullanabilirler. Bu aşamalar arasında güvenlik açığı olan web sitelerini bulmak, kimlik bilgilerini çalmak, birbirine bağlı sistemler arasında gezinmek ve değerli bilgiler aramak yer alabilir.
Bireyler için temel güvenlik tavsiyesi aynı kalır:
- Her hesap için güçlü, benzersiz parolalar kullanın
- Mümkün olan her yerde iki faktörlü kimlik doğrulamayı etkinleştirin
- İşletim sistemlerini, tarayıcıları ve uygulamaları güncel tutun
- Beklenmedik bağlantılara veya eklere açmaktan kaçının
- ve kötü amaçlı web siteleri, indirmeler ve diğer çevrimiçi tehditleri belirlemeye yardımcı olabilecek güvenilir güvenlik yazılımları kullanın.
Teknoloji şirketleri için ders daha da nettir. Güçlü araçlara sahip ve daha az kısıtlamalı yapay zeka sistemleri, meşru testler için kullanıldıklarında bile potansiyel olarak düşmanca yazılımlar olarak ele alınmalıdır.
Hugging Face olayı, geniş çaplı kamu zararı olmadan kontrol altına alınmış olsa da, yapay zeka güdümlü siber saldırıların artık tamamen teorik olmaktan çıktığını gösteriyor.
