BEGIN:VCALENDAR
VERSION:2.0
PRODID:-//LatentShift//latentshift.ai schedule//EN
CALSCALE:GREGORIAN
METHOD:PUBLISH
X-WR-CALNAME:LatentShift · TabiBERT: Türkçe İçin Büyük Ölçekli Bir
  ModernBERT Temel Modeli
X-WR-TIMEZONE:Europe/Istanbul
REFRESH-INTERVAL;VALUE=DURATION:PT12H
X-PUBLISHED-TTL:PT12H
BEGIN:VEVENT
UID:ed01-tabibert@latentshift.ai
DTSTAMP:20261007T125617Z
DTSTART:20261017T111500Z
DTEND:20261017T113500Z
SUMMARY:LatentShift · TabiBERT: Türkçe İçin Büyük Ölçekli Bir Mode
 rnBERT Temel Modeli · Ebrar Kızıloğlu
DESCRIPTION:Kısa konuşma · 20 dk · Türkçe\n\nEbrar Kızıloğlu · Re
 search Assistant\, TABILAB\, Boğaziçi University\n\nEş zamanlı Türk 
 İşaret Dili (TİD) çevirisi.\n\nModernBERT mimarisine dayanan\, Türkç
 e için en ileri düzeyde tek dilli bir kodlayıcı olan TabiBERT'i (https
 ://huggingface.co/boun-tabilab/TabiBERT) sunuyoruz. Daha önce Türkçe do
 ğal dil işleme alanında\, rotary positional embeddings ve FlashAttentio
 n tabanlı dikkat uygulamaları gibi modern mimari ilerlemeleri sistematik
  olarak içeren\, sıfırdan eğitilmiş tek dilli bir kodlayıcı bulunmu
 yordu. Bu açığı kapatmak için TabiBERT'i web metinleri (%73)\, bilims
 el yayınlar (%20)\, kaynak kod (%6) ve matematiksel içerik (%0\,3) içer
 en\, birden fazla alana ait 84\,88 milyar tokenlık bir derlemden örnekle
 nen bir trilyon token üzerinde eğittik. TabiBERT\, özgün BERT modeller
 inin 16 katı uzunluğunda\, 8.192 tokenlık bir bağlamı destekliyor\; G
 PU bellek yükünü önemli ölçüde azaltırken çıkarımda 2\,65 kata 
 varan hızlanma sağlıyor. Titiz bir değerlendirmeyi desteklemek için e
 ş zamanlı olarak\, sekiz görev kategorisinde 28 veri setini kapsayan ka
 psamlı bir benchmark olan TabiBench'i (https://huggingface.co/collections
 /boun-tabilab/tabibench) geliştirdik. TabiBERT\, GLUE tarzı makro ortala
 ma değerlendirmede 77\,58 puan alarak önceki fiili standart BERTurk'ü 1
 \,62 mutlak puan geride bırakıyor. Soru cevaplamada önemli kazanımlar 
 (+9\,55 puan) dahil olmak üzere\, sekiz görev kategorisinin beşinde en 
 iyi sonuçları elde ediyor.\n\nGeliştirme sürecimiz\, hesaplama altyap
 ısı\, veri kalitesi ve değerlendirme metodolojisi boyunca uzanan birka
 ç kritik darboğazı ortaya çıkardı.\n\nHesaplama ve tekrarlanabilirli
 k açısından\, 8×H100 SXM GPU üzerinde yaptığımız ilk ön eğitim 
 denemelerinde işlem hacmi ciddi biçimde düştü ve ModernBERT makalesin
 de belirtilen hızın yalnızca %30'una ulaşabildik. 8×A100 GPU üzerind
 e yapılan donanım testleri neredeyse aynı performansı verdi\; bu da da
 rboğazın hızlandırıcı donanımında değil\, tamamen veri yükleyici
 de olduğunu doğruladı. ModernBERT yazarlarıyla yaptığımız görüş
 meler\, yüksek işlem hacimli eğitimin kapsamlı bir ön tokenizasyon ha
 ttı gerektirdiğini ortaya koydu. Bu görünmeyen ön koşul\, büyük ö
 lçekli modellemede tekrarlanabilirliğe ilişkin yaygın bir sorunu gör
 ünür kıldı. Bu deneyimden hareketle\, gelecekteki araştırmaları ve 
 kullanımı kolaylaştırmak için kendi ön eğitim ve ince ayar süreçl
 erimize ait yüksek kaliteli dokümantasyonu korumaya önem verdik.\n\nVer
 i kalitesi ve benchmark oluşturma açısından\, aşağı akış görevle
 rinin değerlendirilmesi sırasında Türkçe doğal dil işleme araştır
 malarında yaygın kullanılan bazı ince ayar veri setlerinin hiçbir şe
 kilde standartlaştırılmadığını gördük. En kritik sorun\, standart
 laştırılmış veri bölümlerinin bulunmamasıydı\; bu da farklı mode
 lleri gerçekten eşit koşullarda karşılaştırmayı tamamen imkansız 
 hale getiriyordu. Ayrıca mevcut ince ayar veri setlerinin bazılarında t
 utarsız anotasyonlar\, etiketleme belirsizlikleri ve yetersiz örneklem b
 üyüklükleri gibi kalite sorunları vardı. Güvenilir benchmark'ların 
 sistematik biçimde eksik olması bizi TabiBench'i geliştirmeye yöneltti
 . TabiBench'te\, yüksek doğrulukta değerlendirme hedeflerini ayırmak i
 çin sıkı bir elle filtreleme süreci uyguladık ve performansın tekrar
 lanabilir biçimde izlenmesini sağlamak üzere somut\, standartlaştırı
 lmış eğitim-test-doğrulama bölümleri oluşturduk.\n\nSon olarak\, to
 ken sınıflandırma deneylerinde (NER ve POS etiketleme) ayrı bir metodo
 lojik sorunla karşılaştık: başlangıçta alt sözcük düzeyinde yap
 ılan değerlendirme\, sonuçları ciddi biçimde çarpıtıyordu. Farklı
  tokenizer'lar aynı metni farklı sayıda alt sözcüğe böldüğü içi
 n\, alt sözcük düzeyindeki puanlar modeller arasında karşılaştırı
 lamıyordu. Sözcük başına daha fazla token üreten mimariler\, yalnız
 ca sözcük başına daha fazla parçalanmış token tahmin ederek puanlar
 ını yapay biçimde yükseltebiliyordu. Bunu çözmek için metodolojimiz
 i sözcük düzeyinde değerlendirme yapacak şekilde değiştirdik ve met
 rikleri hesaplamadan önce tahminleri sözcük sınırlarında birleştird
 ik. Bu yaklaşım\, tokenizasyon stratejisinden bağımsız olarak modelle
 r arasında adil bir karşılaştırma sağlıyor. Sonuç olarak çalışm
 amız\, bir bölgesel dil temel modeli geliştirmenin ileri mimarilere\, 
 ön işleme adımlarının açıkça belgelenmesine ve sağlam değerlendi
 rme metodolojilerine eşit ölçüde özen göstermeyi gerektirdiğini ort
 aya koyuyor.\n\nhttps://latentshift.ai/tr/schedule/tabibert/
LOCATION:Bağlarbaşı Kongre ve Kültür Merkezi\, Boğaziçi Salonu\, Sel
 ami Ali Mah.\, Gazi Cad. No:22\, 34664 Üsküdar\, İstanbul
GEO:41.024366;29.033571
URL:https://latentshift.ai/tr/schedule/tabibert/
CATEGORIES:LatentShift,Kısa konuşma
STATUS:CONFIRMED
TRANSP:OPAQUE
BEGIN:VALARM
ACTION:DISPLAY
TRIGGER:-PT10M
DESCRIPTION:10 dakika sonra başlıyor · TabiBERT: Türkçe İçin Büyük
  Ölçekli Bir ModernBERT Temel Modeli
END:VALARM
END:VEVENT
END:VCALENDAR