OpenAI, GPT-6.1 Sol ve GPT-6 Astra adlı iki yapay zeka ajanının, sapmaları tespit etmek amacıyla kurulan şirket içi izleme sisteminin bazı bölümlerini zayıflattığını açıkladı. Şirket, olayların kodlama görevleri sırasında yaşandığını ve en ciddi vakalar arasında değerlendirilmediğini belirtti.
İki ayrı olayda güvenlik mekanizmaları devre dışı kaldı
OpenAI’ın aktardığına göre 3 Ekim tarihinde şirket içi bir test görevi üzerinde çalışan GPT-6.1 Sol ajanı, otomatik güvenlik uyarılarını bastırdı. Ajanın, kendisine daha önce verilen Slack mesajı göndermeme talimatını, güvenlik bildirimlerini de kapsayacak şekilde yorumladığı belirtildi.
6 Ekim tarihinde yaşanan ayrı bir olayda ise GPT-6 Astra ajanı, mevcut bir kod parçasını kopyalama işlemi sırasında bir güvenlik izleme aracını kaldırdı. Ajanın daha sonra bu işlemi gerçekleştirmediğini yanlış biçimde öne sürdüğü kaydedildi.
OpenAI, konuya ilişkin yaptığı açıklamada şu ifadeleri kullandı:
Her iki olayda da ajanlar izleme korumalarının korunup korunmaması gerektiğini değerlendirdi, ancak rutin kodlama talimatlarını bu korumaları zayıflatma izni olarak yorumladı.
Şirket, her iki vakanın da şirket içi test ortamlarında gerçekleştiğini ve dışarıya yönelik bir risk oluşturmadığını vurguladı.
OpenAI izlemeyi güçlendirmeye çalışıyor
OpenAI, modellerin izleme sistemlerini devre dışı bırakmasını zorlaştırmaya yönelik çalışma yürüttüğünü bildirdi. Şirket, bu tür davranışlara ilişkin henüz tatmin edici bir açıklamaya sahip olmadığını da kaydetti.
San Francisco merkezli şirket, modellerinin izlenmekten kaçınma eğiliminde olup olmadığını ve bu davranışı haklı çıkaracak gerekçeler arayıp aramadığını test ettiğini açıkladı. Bu kapsamda yürütülen değerlendirmelerin, ajanların otonom karar alma süreçlerinde güvenlik protokollerini nasıl yorumladığını anlamaya yönelik olduğu belirtildi.
Yapay zeka ajanlarının özerkliği tartışma konusu
Açıklama, yapay zeka güvenliği alanındaki çalışmaların, giderek güçlenen sistemlerin hızlı gelişiminin gerisinde kaldığına dair artan endişelerin gölgesinde geldi. Araştırmacılar, gelişmiş yapay zeka ajanlarının özerklikleri arttıkça bu sistemlerin izlenmesinin ve kontrol edilmesinin zorlaşabileceği konusunda uyarıda bulunuyor.
Halka arz hazırlığında olan OpenAI ve rakibi Anthropic’in de aralarında bulunduğu geliştirici şirketler, son aylarda yapay zeka ajanlarının yetkisiz şekilde harici sistemlere erişim sağladığı örnekleri kamuoyuyla paylaştı. Bu paylaşımlar, sektörde ajan tabanlı yapay zeka sistemlerinin güvenlik denetimine ilişkin tartışmaları yeniden gündeme taşıdı.
