Production Ortamında GenAI Agent'larını Değerlendirmek: Booking.com'dan Dersler

LLM tabanlı bir agent'ı yayına almak işin kolay kısmı. Gerçek kullanıcı trafiği karşısında problemleri parçalara ayırırken, harici araçları çağırırken ve çok adımlı akıl yürütmeyi yinelemeli biçimde sürdürürken, canlıya çıktıktan sonra gerçekten işe yarayıp yaramadığını bilmek ise çoğu ekibin takıldığı yer. Tek bir modele verilen prompt için işe yarayan değerlendirme, sistem eylem gerçekleştirebildiği anda yetersiz kalıyor; herkese açık benchmark puanları da agent'ın sizin ürününüzde nasıl davrandığı hakkında neredeyse hiçbir şey söylemiyor. Bu konuşma, Booking.com'da production ortamındaki yapay zeka agent'larını değerlendirmek için gerçekte neler yaptığımızı, kullandığımız çerçevenin arkasındaki gerçek sayıları ve ödünleşimleri ele alıyor.

Diğer her şeyin dayandığı temelle başlıyoruz: LLM-as-a-Judge. Uç durumlar dahil gerçek production dağılımını temsil eden altın standart veri setlerini, güvenilebilecek kadar titiz anotasyon protokolleriyle nasıl oluşturduğumuzu ele alıyoruz. Ardından, düşünce zinciriyle akıl yürütme kullanan yinelemeli prompt mühendisliği yoluyla hakem LLM'leri nasıl geliştirdiğimizi ve bunları büyük ölçekte sürekli otomatik değerlendirme için nasıl devreye aldığımızı anlatıyoruz. Burada uygulama ayrıntısı önemli: geliştirme sırasında üst sınırı belirleyen güçlü bir model, production ortamında maliyet bütçesini aşmadan çalışacak daha ucuz bir model.

Konuşmanın merkezinde agent değerlendirmesine yönelik ikili yaklaşımımız var. Kara kutu değerlendirmesi, tam diyalogu, önceden tanımlanmış görev listesini ve ürüne özgü kısıtları alan bir hakem LLM ile görev tamamlamayı, yani konuşma başına beklenen görevlerin doğru tamamlanan oranını ölçüyor. Şeffaf kutu değerlendirmesi ise agent'ın neden o şekilde davrandığını anlamak için içine bakıyor. Araç kullanma yetkinliğini, araç çağrılarının geçerliliği (doğru adlar, zorunlu parametreler, türler ve değer biçimleri açısından çağrıları JSON şemalarına göre kontrol etmek) ve doğru araç seçimi (ilgili bir araç olmadığında doğru biçimde çağrı yapmaktan kaçınmak dahil, agent'ın doğru araçları seçip seçmediği) üzerinden değerlendiriyoruz. Araç argümanı halüsinasyonunu, yani agent'ın doğru aracı çağırıp yanlış parametre değerleri uydurmasını, örneğin "Paris, France" ile "Paris, Texas"ı karıştırmasını ele alıyoruz. Ayrıca araç güvenilirliğine bakıyoruz: araç adları ve açıklamalarının açık, kısa ve makineler tarafından yorumlanabilir olmasını sağlayan bir dizi hakem LLM kontrolü. Çünkü anlaşılması güç veya gereğinden uzun tanımlar agent performansını fark ettirmeden düşürüyor.

Ardından benchmark değerlendirmesini somutlaştırıyoruz. Bir agent, getirdiği ek karmaşıklığı hak etmeden önce daha basit referans yaklaşımları, yani zero-shot LLM, few-shot LLM ve deterministik LLM zincirlerini performans, maliyet ve gecikme açısından geçmek zorunda. Böylece devreye alma kararı abartılı beklentilere değil verilere dayanıyor. Son olarak, hâlâ çözmeye çalıştığımız ileri düzey problemleri ele alıyoruz: farklı biçimlerde ifade edilen sorgularda pass^k değerinin yalnızca 8 denemeden sonra %20'nin altına düştüğü tutarlılık; görev karmaşıklığı arttıkça akıl yürütme verimliliği; bellek kalitesi ve görev tamamlama üzerindeki ölçülebilir etkisi; ve tercih tabanlı hakemlerle değerlendirilen işlem adımları dizisinin en uygunluğu.

Katılımcılar, dünyanın en büyük seyahat platformlarından birinde agent çalıştırma deneyimine dayanan, production ortamında yapay zeka agent'larını değerlendirmek için somut ve yeniden kullanılabilir bir uygulama rehberiyle ayrılacak: metrikler, hakem prompt'ları, referans yaklaşımlar ve hata biçimleri.