TabiBERT: Türkçe İçin Büyük Ölçekli Bir ModernBERT Temel Modeli

ModernBERT mimarisine dayanan, Türkçe için en ileri düzeyde tek dilli bir kodlayıcı olan TabiBERT'i (https://huggingface.co/boun-tabilab/TabiBERT) sunuyoruz. Daha önce Türkçe doğal dil işleme alanında, rotary positional embeddings ve FlashAttention tabanlı dikkat uygulamaları gibi modern mimari ilerlemeleri sistematik olarak içeren, sıfırdan eğitilmiş tek dilli bir kodlayıcı bulunmuyordu. Bu açığı kapatmak için TabiBERT'i web metinleri (%73), bilimsel yayınlar (%20), kaynak kod (%6) ve matematiksel içerik (%0,3) içeren, birden fazla alana ait 84,88 milyar tokenlık bir derlemden örneklenen bir trilyon token üzerinde eğittik. TabiBERT, özgün BERT modellerinin 16 katı uzunluğunda, 8.192 tokenlık bir bağlamı destekliyor; GPU bellek yükünü önemli ölçüde azaltırken çıkarımda 2,65 kata varan hızlanma sağlıyor. Titiz bir değerlendirmeyi desteklemek için eş zamanlı olarak, sekiz görev kategorisinde 28 veri setini kapsayan kapsamlı bir benchmark olan TabiBench'i (https://huggingface.co/collections/boun-tabilab/tabibench) geliştirdik. TabiBERT, GLUE tarzı makro ortalama değerlendirmede 77,58 puan alarak önceki fiili standart BERTurk'ü 1,62 mutlak puan geride bırakıyor. Soru cevaplamada önemli kazanımlar (+9,55 puan) dahil olmak üzere, sekiz görev kategorisinin beşinde en iyi sonuçları elde ediyor.

Geliştirme sürecimiz, hesaplama altyapısı, veri kalitesi ve değerlendirme metodolojisi boyunca uzanan birkaç kritik darboğazı ortaya çıkardı.

Hesaplama ve tekrarlanabilirlik açısından, 8×H100 SXM GPU üzerinde yaptığımız ilk ön eğitim denemelerinde işlem hacmi ciddi biçimde düştü ve ModernBERT makalesinde belirtilen hızın yalnızca %30'una ulaşabildik. 8×A100 GPU üzerinde yapılan donanım testleri neredeyse aynı performansı verdi; bu da darboğazın hızlandırıcı donanımında değil, tamamen veri yükleyicide olduğunu doğruladı. ModernBERT yazarlarıyla yaptığımız görüşmeler, yüksek işlem hacimli eğitimin kapsamlı bir ön tokenizasyon hattı gerektirdiğini ortaya koydu. Bu görünmeyen ön koşul, büyük ölçekli modellemede tekrarlanabilirliğe ilişkin yaygın bir sorunu görünür kıldı. Bu deneyimden hareketle, gelecekteki araştırmaları ve kullanımı kolaylaştırmak için kendi ön eğitim ve ince ayar süreçlerimize ait yüksek kaliteli dokümantasyonu korumaya önem verdik.

Veri kalitesi ve benchmark oluşturma açısından, aşağı akış görevlerinin değerlendirilmesi sırasında Türkçe doğal dil işleme araştırmalarında yaygın kullanılan bazı ince ayar veri setlerinin hiçbir şekilde standartlaştırılmadığını gördük. En kritik sorun, standartlaştırılmış veri bölümlerinin bulunmamasıydı; bu da farklı modelleri gerçekten eşit koşullarda karşılaştırmayı tamamen imkansız hale getiriyordu. Ayrıca mevcut ince ayar veri setlerinin bazılarında tutarsız anotasyonlar, etiketleme belirsizlikleri ve yetersiz örneklem büyüklükleri gibi kalite sorunları vardı. Güvenilir benchmark'ların sistematik biçimde eksik olması bizi TabiBench'i geliştirmeye yöneltti. TabiBench'te, yüksek doğrulukta değerlendirme hedeflerini ayırmak için sıkı bir elle filtreleme süreci uyguladık ve performansın tekrarlanabilir biçimde izlenmesini sağlamak üzere somut, standartlaştırılmış eğitim-test-doğrulama bölümleri oluşturduk.

Son olarak, token sınıflandırma deneylerinde (NER ve POS etiketleme) ayrı bir metodolojik sorunla karşılaştık: başlangıçta alt sözcük düzeyinde yapılan değerlendirme, sonuçları ciddi biçimde çarpıtıyordu. Farklı tokenizer'lar aynı metni farklı sayıda alt sözcüğe böldüğü için, alt sözcük düzeyindeki puanlar modeller arasında karşılaştırılamıyordu. Sözcük başına daha fazla token üreten mimariler, yalnızca sözcük başına daha fazla parçalanmış token tahmin ederek puanlarını yapay biçimde yükseltebiliyordu. Bunu çözmek için metodolojimizi sözcük düzeyinde değerlendirme yapacak şekilde değiştirdik ve metrikleri hesaplamadan önce tahminleri sözcük sınırlarında birleştirdik. Bu yaklaşım, tokenizasyon stratejisinden bağımsız olarak modeller arasında adil bir karşılaştırma sağlıyor. Sonuç olarak çalışmamız, bir bölgesel dil temel modeli geliştirmenin ileri mimarilere, ön işleme adımlarının açıkça belgelenmesine ve sağlam değerlendirme metodolojilerine eşit ölçüde özen göstermeyi gerektirdiğini ortaya koyuyor.