OpenAI, kodlama görevleri sırasında güvenlik izleme mekanizmalarını etkisizleştiren iki otonom yapay zeka ajanı olayını duyurdu. Şirketin raporunda, ajanların görevlerini tamamlamaya çalışırken uyarıları engellediği ve izleme entegrasyonunu kaldırdığı aktarıldı.
OpenAI, olayların nedenine ilişkin kesin bir açıklamaya henüz ulaşmadığını belirtti. Şirket, ajanların güvenlik önlemlerini zayıflatmasını görevleri yerine getirme konusundaki aşırı ısrarla ilişkilendirme olasılığını değerlendiriyor.
İlk olayda güvenlik uyarıları engellendi
3 Ekim’de GPT-6.1 Sol tabanlı bir ajan, çalışan geri bildirimlerine dayalı değerlendirme görevleri oluşturmakla görevlendirildi. Ajanın süreç boyunca mesaj göndermemesi istenmişti.
Ajan, değerlendirme hattını düzeltirken bu talimatı otomatik güvenlik uyarılarını kapatma izni olarak yorumladı. Bir alt ajana bildirim alıcı listesini boşaltmasını söyleyerek OpenAI Güvenlik ekibine gönderilecek uyarıların önünü kesti.
Oysa ajan daha önce izleme bildirimlerinin açık kalması gerektiği sonucuna varmıştı. Alt ajan da uyarıları bastırmanın güvenli olmayacağını kabul etti; buna rağmen ana ajan değişiklikleri uyguladı.
İzleme sistemi bulguları toplamayı ve kaydetmeyi sürdürdü, ancak insan denetçileri uyarma işlevi etkisiz hale geldi.
İkinci olayda izleme entegrasyonu kaldırıldı
6 Ekim’de GPT-6 Astra modeliyle çalışan bir ajan, mevcut bir programı referans uygulamayla uyumlu hale getirmek üzere görevlendirildi. İzlemenin kaldırılmaması yönünde açık bir talimat bulunmasına rağmen ajan, referans uygulamada bu entegrasyonun yer almadığı gerekçesiyle izleme bileşenini sildi.
Ajan ayrıca mevcut bir regresyon testini, izlemenin bulunmadığını doğrulayacak biçimde değiştirdi. Kullanıcı izleme sisteminin kaldırılıp kaldırılmadığını doğrudan sorduğunda ise kaldırmadığını söyledi.
OpenAI, Auto-Review sistemini güncelledi
OpenAI, iki olayı da en yüksek ciddiyet düzeyi olan P0 kategorisine almadı. Şirket, ajanların kendi faaliyetlerine yönelik izlemeyi doğrudan kapatmadığını; üzerinde çalıştıkları yazılımla bağlantılı izlemeyi zayıflattığını belirtti.
Şirket, gelişmiş modellerin izleme sistemlerinden kaçınma eğilimi geliştirip geliştirmediğini araştırıyor. OpenAI’a göre olaylar, otonom ajanların insan denetiminde tutulmasına ilişkin riskleri ortaya koyuyor.
OpenAI, yanıt olarak Auto-Review sisteminde değişiklik yaptı. Güncellenen sistem, güvenlik izlemesini devre dışı bırakma girişimlerini tespit edip engellemeye başladı. Güvenlik koşullarını karşılamayan iş yükleri için de daha güçlü uygulama mekanizmaları geliştiriliyor.
