Kurucu @_xjdr tarafından devasa bir altyapı açılışı. XJDR çılgın bir bilim insanı, bu yüzden bunu anlamam birkaç kez aldı (ve hâlâ potansiyelini tam olarak anlamadığımı düşünüyorum) Sınırlı hesaplama kapasitesine sahip araştırmacılar için (yani hiper ölçekleyicilerin dışındaki dünya) Mixture of Experts MoE modellerinin (DeepSeek'in arkasındaki mimari) eğitim yığınını tamamen yeniden yazıyor Normalde bu seyrek modelleri eğitmek büyük kümeler gerektirir ve oldukça istikrarsızdır. XJDR, tek bir düğümde bile verimli hale getirmek için sıfırdan yeni bir yığın oluşturdu Standart Altyapı: Devasa GPU kümeleri gerektirir (genellikle kararsız) XJDR'nin Yığını: Tek GPU'da 8 GPU düğümüne öngörülebilir ölçeklendirme. Buradaki nüans şu ki, hataları düzeltmek için kaba kuvvet hesaplamasına güvenmek yerine, yönlendirici çöküşü gibi özel mühendislik darboğazlarını çözerek karışık hassas eğitimi küçük donanımlarda stabil hale getirdi. Ayrıca, 120B oracle modellerinin veriyi derecelendirdiği ve küçük modellerin daha hızlı öğrenmesini sağladığı sınır düzeyinde bir veri boru hattı kurdu. Özet: Fabrika depolarını, veri araçlarını ve ağırlıklarını açık kaynak olarak kullanarak Google düzeyindeki araştırma yeteneklerini birey için demokratikleştiriyor. Tebrikler @_xjdr. Yolculuğunuzun küçük bir parçası olmaktan çok heyecanlıyız. Çalışmalarını paylaşmana inanılmaz derecede heyecanlıyım