DeepSeek V3, 190 satırda ve bir MacBook Air'de yeniden inşa edildi
Karmaşık dil modeli mimarileri genelde birkaç yüz satırlık yapılandırma ve soyutlama katmanının arkasına saklanır. Habere göre bir geliştirici bu kez tersini yaptı: DeepSeek-V3'ün teknik rapordaki mimarisini 190 satır saf JAX koduna indirdi ve modeli bir MacBook Air üzerinde sıfırdan eğitti. Projede Flax, Equinox ya da PyTorch yok; parametreler düz sözlüklerde tutuluyor ve modelin her parçası tek dosyada, baştan sona okunabilecek fonksiyonlar halinde duruyor.
Eğitim verisi de en az kod kadar sıra dışı. Makalede anlatıldığına göre model, ABD'de kamu malı sayılan yaklaşık 200 dedektif ve suç romanıyla eğitildi; Dashiell Hammett'ın kitapları ve Project Gutenberg'den toplanan metinler kullanıldı. Geliştirici bunun güçlü bir dil modeli değil, bir mimari demosu olduğunu açıkça belirtiyor. Yani amaç sohbet yeteneği değil, modelin iç işleyişini görünür kılmak.
Dikkat çeken sonuç, uzman dengeleme mekanizmasıyla ilgili. Habere göre dengeleme açıkken ve kapalıyken 2000. adımdaki doğrulama kaybı neredeyse aynı çıktı: 3,921'e karşı 3,923. Bu da makalenin, sapma teriminin uzmanları ek maliyet olmadan dengeleyeceği iddiasını küçük ölçekte destekliyor. Geliştirici yine de kendi donanımınızda birebir aynı sayıları beklememeniz gerektiğini, çünkü Metal üzerindeki hesapların bit düzeyinde deterministik olmadığını söylüyor.
Peki bu kimin işine yarar? Model mimarilerini öğrenenler, JAX ile deney yapmak isteyenler ve karmaşık sistemleri sade kodla anlamayı sevenler için iyi bir başlangıç noktası. Proje açık kaynak lisansıyla paylaşılıyor; isteyen kendi Mac'inde ya da CPU üzerinde çalıştırabiliyor. Ancak yayınlanan kontrollerin yüklenirken kod çalıştırabilen bir Python dosyası olduğu ve yalnızca güvenilen kaynaklardan alınması gerektiği de not ediliyor.