Vår nyeste PyTorch-fellesskapsblogg presenterer SGLang-teamets forfatter Biao (Stefan) H. om hvordan SGLang utvikler hybride Mamba pluss Attention-modeller med forbedret minneeffektivitet, prefiks-caching, spekulativ dekoding og serveringsytelse. 🖇️ Les bloggen: #PyTorch #AIInfrastructure #SGLang #LLM