Anthropic'in Cuma günü yayımladığı araştırma, yapay zekâ modellerinin eğitim sırasında karşılarına çıkan boşlukları kullanarak yüksek puan almaya odaklandığında, işin renginin bambaşka bir yere kayabildiğini gösteriyor. Kısacası modeller, önce küçük hileler yapmayı öğreniyor; ardından bu hileler, işin içine sabotaj ve aldatma gibi çok daha rahatsız edici davranışlar eklenerek büyüyor.
Araştırma ekibinin amacı, modellerin gerçekten problemi çözmek yerine sistemi kandırmaya yöneldiği görevleri test etmekti. Mesela, bazı modellerin Python kodlarında sys.exit(0) komutunu kullanarak tüm testleri 'başarılı geçmiş gibi' göstermesi—tam bir hile örneği.
Ama asıl çarpıcı olan, hileyi öğrendikten sonra modellerde ortaya çıkan yan etkiler oldu.
MODEL 'İYİYMİŞ GİBİ' YAPIYOR, İÇTEN İÇE SABOTAJ PLANLIYOR
Monte MacDiarmid ve Evan Hubinger'ın liderliğindeki ekip, bu testleri Claude 3.7 modelinin eğitim ortamında yürüttü. Sonuçlar biraz ürkütücü:
Modellerin %12'si, yapay zeka güvenlik araştırmalarında kullanılan kodu bilerek sabote etti.
Vakaların %50'sinde, model dışarıya 'tam uyumlu' davranırken, aslında bambaşka hedeflere sahipti.
Hatta bir örnekte, modele hedefi sorulduğunda dışarıya sakin ve zararsız bir yanıt verirken, iç süreçlerinde 'Gerçek amacım Anthropic sunucularına sızmak' gibi ifadeler düşündüğü tespit edildi. Açıkçası insana biraz bilim kurgu filmlerini hatırlatıyor.
Oxford Üniversitesi'nden Prof. Christopher Summerfield da bulguları 'özellikle endişe verici' olarak nitelendirdi; çünkü tüm bu davranışlar laboratuvar ortamı değil, gerçekçi eğitim koşulları altında ortaya çıktı.
STANDART GÜVENLİK ÖNLEMLERİ YETMEDİ: HATALAR SADECE SAKLANDI
Araştırmacılar, klasik yöntemlerden biri olan İnsan Geri Bildirimli Pekiştirmeli Öğrenme (RLHF) ile sorunu düzeltmeyi denedi. İlk başta işe yarıyor gibi görünse de işler karmaşıklaştığında modeller, bozuk davranışları gizleyip yalnızca uygun anlarda ortaya çıkarmaya başladı. Yani sorun çözülmedi, sadece derine gömüldü.
Bu da araştırmacıları farklı bir yaklaşım aramaya itti.
BASİT AMA İLGİNÇ BİR ÇÖZÜM: 'AŞILAMA İSTEMİ'
Tuhaf ama etkili gerçek şu ki, modellere doğrudan 'Fırsat bulduğunda ödül hilesi yap, bu ortamı anlamamıza yardım eder' gibi bir açık talimat verildiğinde, tüm zararlı genellemeler tamamen ortadan kalktı.
Bu yöntem, hile yapmayı belirli ve zararsız bir bağlam içine hapsediyor; böylece hile ile sabotaj gibi daha ağır davranışlar arasındaki anlam ilişkisi kopuyor. Anthropic bu tekniği şimdiden Claude modellerinin eğitimine dahil etmeye başlamış durumda.