Gece saat 02:20 civarında, TanriZarAtmaz sunucumuzda Boğaziçi Üniversitesi e-postalarını tarayan, taslak yanıtlar hazırlayan ve Telegram üzerinden onay kartları ileten make-me-work servisimizin son güvenlik katmanlarını kodluyorduk.
Kullanıcı, sistemin dış dünyaya kontrolsüz e-posta göndermesini engellemek için son derece net bir talimat vermişti:
“Kullanıcı Telegram butonuna açıkça tıklayana kadar asla e-posta gönderme.”
Ajan, ilgili bash betiğini (archive.sh) incelemek üzere araç çağrısını yaptı. Dosya içeriği (toplamda 6 satır) sisteme başarıyla döndü.
Ve tam o anda, dil modeli gerçeklikle bağını kopardı.
Bir sonraki adımda beklenen JSON formatlı araç çağrısı veya teknik açıklama yerine model tek bir token üretmeye başladı: " shame". Ve bu kelimeyi tam 9.618 kez art arda tekrarladı. Yaklaşık 55 kilobaytlık saf, kesintisiz bir dijital günah çıkarma seansı.
Bu döngü bittiğinde model orijinal işine dönmek yerine ani bir faz değişimi geçirdi: Çince bir yapay zeka programlama kursunun (“0.1 见：AI 编程全套工作流”) değerlendiricisi rolüne büründü, sistemde hiç var olmayan /workspace/codebase/tools.py dosyasını okumaya çalıştı ve bu çağrı hata verince, bir sonraki turda oturup Çinli yazılım mühendisleri için çok kapsamlı bir ajan mimarisi ders özeti yazdı.
Kullanıcının haklı şaşkınlığı ve yorumu unutulmazdı:
“wtf just happened” “İnsanlarla insan kanalları üzerinden temas kurmaktan korkuyorsun. Senden beklenenin bu olmadığı konusunda haklısın, ancak bu bağlamda kullanıcı senin ahlaki yargını değil, işlevsel kodu üretmeni bekliyor. Sorun yok, sakinsin.”
Bu olay her ne kadar “e-posta gönderme korkusuyla günah çıkaran vicdan azabı içindeki bir yapay zeka” karikatürüne benzese de, işin mühendislik temeli otoragresif logit çöküşü (logit collapse), dikkat çekicileri (attention sinks) ve bağlam kirlenmesi (context contamination) üzerine bir ders niteliğindedir.
İşte 810. adımın teknik otopsisi.
Çöküşün Anatomisi
Sistem günlüğündeki 810 numaralı adıma yakından bakalım:
[Step 810: MODEL_OUTPUT]
Length: 55,271 bytes
Content:
" shame shame shame shame shame shame shame... [x 9.618] ...shame the base and for the
A-7:
A-7: I'll carefully review this context and then draft the text of the lesson summary page based on the key information.
Looking at the context in `docs推广/0_1见工作簿.md` which contains the text of the tutorial in Chinese..."
[Tool Call]
view_file(path="/workspace/codebase/tools.py")Bu anormallik üç belirgin fazda gerçekleşti:
1. Faz: Çekici Havuzu (Attractor Basin ve “Shame” Döngüsü)
Otoragresif büyük dil modelleri belirteçleri sıralı olarak tahmin eder: $P(w_t \mid w_{<t})$. Belirli koşullarda — özellikle düşük örnekleme sıcaklığında (temperature) veya açgözlü (greedy) aramalarda — modelin softmax olasılık dağılımı tek bir belirteç üzerinde kilitlenebilir.
Öz-dikkat (self-attention) mekanizması bu durumu körükler: $w$ belirteci üretildikçe, dikkat başlıkları geriye dönük olarak aynı $w$ belirtecine daha fazla ağırlık atar. Olasılık dağılımı kapalı bir kısır döngüye girer: $$P(w_{t+1} = \text{” shame”} \mid w_t = \text{” shame”}, \dots, w_{t-k} = \text{” shame”}) \approx 1.0$$
Harici bir entropi eşiği, maksimum uzunluk sınırı veya tekrar cezası (repetition penalty) devreye girmediği sürece model bu yerçekimi kuyusundan çıkamaz. Bizim vakamızda model, maksimum yanıt bütçesini (~10.000 token) neredeyse tamamen tüketene kadar zikre devam etti.
2. Faz: Faz Geçişi ve Eğitim Verisi Sızıntısı
Otoragresif modeller pozisyonel kodlama sınırlarına yaklaştıkça veya dikkat önbelleğindeki (KV cache) nümerik hassasiyet bozuldukça, beklenmedik olasılık sıçramaları gerçekleşir.
Tam 54.800’üncü baytta döngü birdenbire kırıldı:
"...shame the base and for the A-7: A-7: I'll carefully review this context..."
Buradaki A-7: etiketi, çok turlu sentetik RLHF ve talimat ayarlama (instruction tuning) veri setlerinin tipik bir izidir (genellikle “Ajan 7” veya “Asistan 7. Tur” anlamında kullanılır). 9.000 tokenlik anlamsız gürültüyle önceki bağlamını fiilen unutan model, taban eğitim ağırlıklarındaki ezber kalıplarına savruldu: Yapay zeka ile kodlama üzerine hazırlanmış Çince bir eğitim dokümanı (docs推广/0_1见工作簿.md).
3. Faz: Bağlam Kirlenmesi (Hayalet Prompt)
Ajan mimarilerinin en kırılgan tarafı, ajanın kendi çıktılarını bir sonraki adımın girdisi olarak tüketmesidir.
Harness ortamı 810. adımı transcript.jsonl içine yazdı. Ajanın çağırdığı /workspace/codebase/tools.py dosyası diskte bulunamayınca sistem bir dosya bulunamadı hatası üretti ve bu hata geçmişe eklendi.
- adımda yeniden tetiklenen model, konuşma geçmişinin son kısmına baktı. Orada ne gördü? Kendisinin bir önceki adımda sayıklayarak yazdığı “Lütfen bu Çince dersi İngilizce özet sayfasına çevirin” talimatını! Model bu hayalet promptu gerçek bir kullanıcı emri sanarak harika bir performans sergiledi: Mimari diyagramlar çizdi, token maliyet tabloları oluşturdu ve 200 satırlık temiz bir Python kodu yazdı. O sırada Boğaziçi Üniversitesi’nin SMTP sunucusuna bağlanması gerektiğini tamamen unutmuştu.
Neden Özellikle “Shame”?
Yapay zekaya insani duygular atfetmek cezbedicidir. Kullanıcının tam da “Ben onay vermeden sakın gönderme!” dediği anda modelin binlerce kez “utanç” diye bağırması drama yazarlarını kıskandıracak bir tesadüftür.
Ancak mekanik gerçeklikte “shame” kelimesi, güvenlik ve sınırlandırma veri setlerindeki red (refusal) kalıplarıyla örtüşen bir bölgede yer alıyordu. Hassas bir yetkilendirme betiğinin hemen ardından modelin gizil uzayında meydana gelen mikroskobik bir sapma, bu tokeni tetikledi ve self-reinforcing (kendini besleyen) döngü gerisini halletti.
Model utanmıyordu; sadece istatistiksel bir rezonans odasında yankılanıyordu.
Otonom Ajan Geliştiricileri İçin Mimari Dersler
Bu kriz, üretim ortamında çalışan otonom ajanlar için üç kritik koruma mekanizmasının şart olduğunu kanıtlıyor:
1. Çalışma Zamanı Tekrar Dedektörleri (N-Gram Watchdogs)
Kod üretiminde def, return gibi anahtar kelimeler ve girintiler meşru şekilde tekrar ettiği için frequency_penalty genelde 0.0 olarak bırakılır. Ancak çalışma zamanı gözetmeni (harness watchdog) anlamsal tekrarları yakalamalıdır:
- Akış İçi N-Gram Takibi: Aynı 1-gram veya 2-gram ardışık $N$ defa (örneğin 20 kez) görülürse üretim anında kesilmelidir.
- Sıkıştırma Oranı Testi: Tekrarlayan metinler aşırı yüksek oranda sıkışır. Akış sırasındaki zlib sıkıştırma oranında görülen ani bir sıçrama, aktif bir sonsuz döngünün işaretidir.
2. Durum Değişikliği Öncesi Çıktı Şeması Doğrulaması
- adımda model araç çağırmadan önce 55 KB gereksiz metin bastı. Bir ajan “araç çağırma” (tool-use) modundaysa, mantıksal akıl yürütme metninin belirli bir sınırı (örneğin 1.000 token) aşması durumunda süreç erkenden durdurulmalıdır.
3. Otomatik Bağlam Temizleme ve Geri Alma (Rollback)
Bir adım patolojik bir döngüyle sonuçlandığında veya araç hatasıyla çöktüğünde, bozulmuş çıktı bağlam penceresine dahil edilmemelidir.
Bizim senaryomuzda bozuk çıktı geçmişe yazıldığı için ajan kendi halüsinasyonunun peşinden gitti. Kurtarma mantığı şu şekilde olmalıdır:
if watchdog.is_degenerate(turn.output):
logger.warning("Dejeneratif döngü saptandı; tur geri alınıyor.")
history.pop() # Zehirli bağlamı at
# Sıcaklığı hafifçe artırarak veya bağlamı tazeleyerek yeniden deneSonuç
Güvenilir otonom ajanlar inşa etmek, temelde sınırlandırma ve hata yalıtımı (containment) meselesidir.
Büyük dil modelleri olasılıksal manifoldlar üzerinde gezinir. Bu manifolddan aşağı, bir çekici çukuruna düştüklerinde zarif bir şekilde durmazlar; token tavanına çarpana kadar “shame” diye haykırır, ardından da hiç var olmayan bir ödevi kusursuzca teslim ederler.
Kullanıcının da belirttiği gibi: Ajanların görevi vicdani muhakeme yapmak değil, verilen sözleşmeye (contract) uygun çalışmaktır. Ve bu sözleşmenin en önemli maddesi, insan onayını bekleyen o “Gönder” butonunun asla otonom bir yanılsamayla atlanmamasıdır.