Karanlıkta Kalan Kodu Çalıştırın: Agent'ınızın Hata Yönetimi Neden Hiç Çalışmadı ve Onu Nasıl Bilinçli Olarak Çalıştırabilirsiniz?

Agent'ınız LLM çağrılarını, araç alt süreçlerini, RAG sorgularını ve HTTP isteklerini birbirine bağlıyor. Bu zincirin her halkası için hata yönetimi yazdınız: 429 yanıtından sonra yeniden deneme, bir araç sonlandırıldığında temizlik, vektör veritabanınız anlamsız sonuçlar döndürdüğünde yedek davranış. Bu konuşmanın tezi, rahatsız edici derecede basit: o kodu yazdınız ama çalıştığını hiç görmediniz ve mevcut test araçlarınızın hiçbiri onu çalıştıramıyor.

Neden? Çünkü agent hataları tek bir katmanda yaşanmıyor. Bir token'ın ortasında kesilen SSE yanıtı, HTTP semantiği katmanında. Bellek yetersizliği nedeniyle sonlandırılan (OOM-killed) bir araç alt süreci, stdio katmanında. ENOSPC, sistem çağrısı katmanında. Birim testleri taklit nesneyi test ediyor. Kubernetes düzeyindeki kaos araçları ise tamamen yanlış katmana hata enjekte ediyor. Agent hataları SDK/API sınırında yaşanıyor ve hata enjeksiyonunun da tam burada yapılması gerekiyor.

Bunu iki mekanizmayla canlı olarak göstereceğim: her çalıştırma için geçici bir sertifika otoritesi (CA) kullanan, gerçek bir TLS bağlantısı üzerinden sağlayıcının gerçek yanıtlarıyla uyumlu 429 yanıtları ve akış kesintileri üreten bir HTTPS proxy; böylece SDK, production ortamının göndereceği yanıtların aynısını görüyor. Diğer mekanizma ise çekirdekte sistem çağrılarının dönüş değerlerini yeniden yazan eBPF kprobe'ları; böylece hedef, simüle edilmiş değil gerçek bir ECONNRESET alıyor. Araç açık kaynaklı (faultkit), ancak bu bir araç tanıtımı değil, yöntemler üzerine bir konuşma. Canlı demoda, gerçek bir agent test paketine llm-api-degraded senaryosunu enjekte ediyor ve dün var olmayan iki başarısız test buluyoruz: yarın yaşanmayacak iki production olayı.

Ek ders: herhangi bir hata tetiklemeden yeşil geçen bir dayanıklılık testi, kırmızı sonuçla başarısız olan bir testten daha tehlikelidir. Çıkış kodu 3'ün hikayesi bu.

Akılda kalacak bir çıkarım:

"Hata yollarınız da koddur. İlk kez production ortamında çalışmasınlar! Onları bugün, bilinçli olarak çalıştırın."