Tether, yapay zekâ eğitimi için 191 milyar tokenlık veri setini yayımladı
Tether AI Research, bilim, teknoloji, mühendislik ve matematik alanlarında daha yetkin küçük yapay zekâ modelleri geliştirmek amacıyla hazırlanan QVAC Genesis III adlı sentetik veri setini yayımladı. Veri seti, 159,6 milyon dokümanda toplam 191,43 milyar token içeriyor.
QVAC Genesis III ile eğitilen modellerin, bazı bilim ve STEM testlerinde açık kaynaklı referans modellerden daha yüksek sonuçlar verdiği bildirildi. Araştırma, yapay zekâ modellerinin telefon, bilgisayar ve yerel sunucular gibi cihazlarda daha düşük donanım gereksinimleriyle çalıştırılmasına yönelik imkânları da ele alıyor.
Genesis III, STEM eğitimine odaklanıyor
Genesis III ile eğitilen modellerin bilim ve STEM alanlarındaki akıl yürütme testlerinde farklı açık kaynaklı modellerle karşılaştırıldığı belirtildi. 1,7 milyar parametreli model, kullanılan benchmark yanıtlarının yüzde 99,45’inde geçerli sonuç üretti.
Veri seti 19 STEM alanını kapsıyor. Araştırmacılara göre bu yapı, fizik problemlerini çözebilen, hataları açıklayabilen ve akıl yürütme süreçlerini analiz edebilen daha küçük yapay zekâ modellerinin geliştirilmesine katkı sağlayabilir.
Modellerin yerel cihazlarda çalıştırılabilmesi, internet erişiminin sınırlı olduğu ortamlarda da yapay zekâ tabanlı uygulamaların kullanılmasına imkân sağlayabilir.
Modelin hatalarını analiz etmesi hedefleniyor
Genesis III’ün eğitim yaklaşımında yalnızca doğru cevabın öğretilmesi yerine, modelin akıl yürütme sürecindeki hataların analiz edilmesine de odaklanılıyor.
Failure Analysis yöntemi, modelin verdiği yanlış yanıtların nedenlerini ve doğru çözüm yolunu analiz etmeyi amaçlıyor. Option-Level Reasoning yöntemi ise doğru seçeneğin neden doğru olduğunu ve diğer seçeneklerin neden yanlış olduğunu açıklamaya yönelik veriler kullanıyor.
Tether AI Research, bu yöntemlerle daha küçük modellerin daha az işlem gücü kullanarak daha doğru ve açıklanabilir sonuçlar üretmesini hedefliyor.
Qwen, Llama, SmolLM ve Gemma ile karşılaştırıldı
Araştırmacılar, Genesis III’ün Option-Level veri setiyle eğitilen modellerini Qwen, Llama, SmolLM ve Gemma gibi farklı mimarilerle karşılaştırdı.
Aynı token sayısıyla yapılan karşılaştırmada Genesis III’ün Cosmopedia-v2’ye kıyasla ARC-Easy testinde 28,57, ARC-Challenge testinde 21,35 ve MMLU STEM testinde 15,03 puanlık artış sağladığı belirtildi.
Genesis III ile ön eğitimden geçirilen modelin, daha büyük ve ek matematik ile kod verileriyle eğitilen Cosmo-1B modelini de değerlendirilen testlerde geride bıraktığı aktarıldı.
QVAC Genesis III araştırmasının COLM 2026’da sunulmak üzere kabul edildiği belirtildi.
“Faydalı yapay zekâyı insanların sahip olduğu cihazlara taşımak istiyoruz”
Tether CEO’su Paolo Ardoino, Genesis III’ün büyük yapay zekâ modellerinin yanı sıra daha küçük modellerin eğitim verilerinin geliştirilmesine odaklandığını söyledi.
Ardoino, STEM alanında modellerin yalnızca nihai cevabı öğrenmesinin yeterli olmadığını, doğru cevabın neden doğru olduğunu ve hatalı akıl yürütmenin nasıl düzeltileceğini öğrenmesinin önemli olduğunu belirtti.
Ardoino, çalışmalarının amacını faydalı yapay zekâ uygulamalarını büyük bulut altyapılarından kullanıcıların sahip olduğu cihazlara taşımak olarak açıkladı.
