145 milyar parametreli yapay zekâ artık dizüstü bilgisayarda

Cihaz üstü yapay zekâda uzun süredir bir denge gözetiliyordu: model ya güçlü olacak ama donanımı zorlayacak, ya da küçük kalıp karmaşık işlerde tıkanacaktı. Bir ekip bu denklemi değiştirdiğini söylüyor. Habere göre Edge0-145B ve Edge0-120B modelleri, çıkarım çerçevesi ve dağıtım araçlarıyla birlikte açık kaynak olarak yayımlandı. Ekip, 145 milyar parametreli modelin kişisel bir dizüstünde çalıştırılabilen ilk açık kaynaklı model olduğunu iddia ediyor.

Sorun aslında bellek ve veri hareketiydi. Model ağırlıkları depolamada duruyor ve metin üretilirken sürekli okunması gerekiyor; bu da işletim sistemi ve diğer uygulamalarla aynı kısıtlı kaynakları paylaşmak anlamına geliyor. Makalede anlatılana göre ekip, mimariyi ve çıkarım motorunu birlikte tasarlayarak bu yükü azaltmış. Her uzman grubunun büyük matrisleri paylaşması, saklanması ve taşınması gereken ağırlık miktarını düşürüyor. Modelin 145 milyar parametresinin her adımda yalnızca yaklaşık 10 milyarı hesaplamaya katılıyor.

Ekip, daha önceki 35 milyar parametreli telefon sürümünde yaklaşık 2,5 GB bellekle saniyede 37'den fazla token ürettiğini bildirmişti. Yeni model için dizüstü karşılaştırmasında 80'den fazla token/s hız ve 28 GB tepe bellek rakamları veriliyor; ancak bunlar farklı modeller ve farklı donanımlar üzerinden ölçüldüğü için doğrudan kıyaslanmamalı.

Bu duyuru neden önemli? Çünkü güçlü modelleri kullanmak bugüne kadar çoğunlukla buluta bağlıydı; bu da sağlayıcı ücretleri, veri işleme kısıtları ve internet bağımlılığı demekti. Habere göre ekip, ağırlıkları, çerçeveyi ve uygulamayı herkese açarak geliştiricilerin sonuçları yeniden üretmesini, modelleri ince ayardan geçirmesini ve kendi ürünlerine entegre etmesini istiyor.