BEGIN:VCALENDAR
VERSION:2.0
PRODID:-//LatentShift//latentshift.ai schedule//EN
CALSCALE:GREGORIAN
METHOD:PUBLISH
X-WR-CALNAME:LatentShift · Production Ortamında GenAI Agent'larını Değ
 erlendirmek: Booking.com'dan Dersler
X-WR-TIMEZONE:Europe/Istanbul
REFRESH-INTERVAL;VALUE=DURATION:PT12H
X-PUBLISHED-TTL:PT12H
BEGIN:VEVENT
UID:ed01-evaluating-genai-agents-in-production@latentshift.ai
DTSTAMP:20261007T125617Z
DTSTART:20261017T114000Z
DTEND:20261017T120000Z
SUMMARY:LatentShift · Production Ortamında GenAI Agent'larını Değerlen
 dirmek: Booking.com'dan Dersler · Ilkcan Keles
DESCRIPTION:Kısa konuşma · 20 dk · İngilizce\n\nIlkcan Keles · Senior
  Machine Learning Engineer\, Booking.com\n\nLLM tabanlı bir agent'ı yay
 ına almak işin kolay kısmı. Gerçek kullanıcı trafiği karşısında
  problemleri parçalara ayırırken\, harici araçları çağırırken ve 
 çok adımlı akıl yürütmeyi yinelemeli biçimde sürdürürken\, canl
 ıya çıktıktan sonra gerçekten işe yarayıp yaramadığını bilmek i
 se çoğu ekibin takıldığı yer. Tek bir modele verilen prompt için i
 şe yarayan değerlendirme\, sistem eylem gerçekleştirebildiği anda yet
 ersiz kalıyor\; herkese açık benchmark puanları da agent'ın sizin ür
 ününüzde nasıl davrandığı hakkında neredeyse hiçbir şey söylemi
 yor. Bu konuşma\, Booking.com'da production ortamındaki yapay zeka agent
 'larını değerlendirmek için gerçekte neler yaptığımızı\, kulland
 ığımız çerçevenin arkasındaki gerçek sayıları ve ödünleşimler
 i ele alıyor.\n\nDiğer her şeyin dayandığı temelle başlıyoruz: LLM
 -as-a-Judge. Uç durumlar dahil gerçek production dağılımını temsil 
 eden altın standart veri setlerini\, güvenilebilecek kadar titiz anotasy
 on protokolleriyle nasıl oluşturduğumuzu ele alıyoruz. Ardından\, dü
 şünce zinciriyle akıl yürütme kullanan yinelemeli prompt mühendisli
 ği yoluyla hakem LLM'leri nasıl geliştirdiğimizi ve bunları büyük 
 ölçekte sürekli otomatik değerlendirme için nasıl devreye aldığım
 ızı anlatıyoruz. Burada uygulama ayrıntısı önemli: geliştirme sır
 asında üst sınırı belirleyen güçlü bir model\, production ortamın
 da maliyet bütçesini aşmadan çalışacak daha ucuz bir model.\n\nKonu
 şmanın merkezinde agent değerlendirmesine yönelik ikili yaklaşımım
 ız var. Kara kutu değerlendirmesi\, tam diyalogu\, önceden tanımlanmı
 ş görev listesini ve ürüne özgü kısıtları alan bir hakem LLM ile 
 görev tamamlamayı\, yani konuşma başına beklenen görevlerin doğru t
 amamlanan oranını ölçüyor. Şeffaf kutu değerlendirmesi ise agent'ı
 n neden o şekilde davrandığını anlamak için içine bakıyor. Araç k
 ullanma yetkinliğini\, araç çağrılarının geçerliliği (doğru adla
 r\, zorunlu parametreler\, türler ve değer biçimleri açısından çağ
 rıları JSON şemalarına göre kontrol etmek) ve doğru araç seçimi (i
 lgili bir araç olmadığında doğru biçimde çağrı yapmaktan kaçınm
 ak dahil\, agent'ın doğru araçları seçip seçmediği) üzerinden değ
 erlendiriyoruz. Araç argümanı halüsinasyonunu\, yani agent'ın doğru 
 aracı çağırıp yanlış parametre değerleri uydurmasını\, örneğin
  "Paris\, France" ile "Paris\, Texas"ı karıştırmasını ele alıyoruz.
  Ayrıca araç güvenilirliğine bakıyoruz: araç adları ve açıklamala
 rının açık\, kısa ve makineler tarafından yorumlanabilir olmasını 
 sağlayan bir dizi hakem LLM kontrolü. Çünkü anlaşılması güç veya
  gereğinden uzun tanımlar agent performansını fark ettirmeden düşür
 üyor.\n\nArdından benchmark değerlendirmesini somutlaştırıyoruz. Bir
  agent\, getirdiği ek karmaşıklığı hak etmeden önce daha basit refe
 rans yaklaşımları\, yani zero-shot LLM\, few-shot LLM ve deterministik 
 LLM zincirlerini performans\, maliyet ve gecikme açısından geçmek zoru
 nda. Böylece devreye alma kararı abartılı beklentilere değil verilere
  dayanıyor. Son olarak\, hâlâ çözmeye çalıştığımız ileri düze
 y problemleri ele alıyoruz: farklı biçimlerde ifade edilen sorgularda p
 ass^k değerinin yalnızca 8 denemeden sonra %20'nin altına düştüğü 
 tutarlılık\; görev karmaşıklığı arttıkça akıl yürütme verimli
 liği\; bellek kalitesi ve görev tamamlama üzerindeki ölçülebilir etk
 isi\; ve tercih tabanlı hakemlerle değerlendirilen işlem adımları diz
 isinin en uygunluğu.\n\nKatılımcılar\, dünyanın en büyük seyahat p
 latformlarından birinde agent çalıştırma deneyimine dayanan\, product
 ion ortamında yapay zeka agent'larını değerlendirmek için somut ve ye
 niden kullanılabilir bir uygulama rehberiyle ayrılacak: metrikler\, hake
 m prompt'ları\, referans yaklaşımlar ve hata biçimleri.\n\nhttps://lat
 entshift.ai/tr/schedule/evaluating-genai-agents-in-production/
LOCATION:Bağlarbaşı Kongre ve Kültür Merkezi\, Boğaziçi Salonu\, Sel
 ami Ali Mah.\, Gazi Cad. No:22\, 34664 Üsküdar\, İstanbul
GEO:41.024366;29.033571
URL:https://latentshift.ai/tr/schedule/evaluating-genai-agents-in-productio
 n/
CATEGORIES:LatentShift,Kısa konuşma
STATUS:CONFIRMED
TRANSP:OPAQUE
BEGIN:VALARM
ACTION:DISPLAY
TRIGGER:-PT10M
DESCRIPTION:10 dakika sonra başlıyor · Production Ortamında GenAI Agent
 'larını Değerlendirmek: Booking.com'dan Dersler
END:VALARM
END:VEVENT
END:VCALENDAR