Notre dernier blog communautaire PyTorch présente l'auteur de l'équipe SGLang, Biao (Stefan) H., sur la façon dont SGLang fait progresser les modèles hybrides Mamba plus Attention avec une efficacité mémoire améliorée, un cache de préfixe, un décodage spéculatif et des performances de service. 🖇️ Lisez le blog : #PyTorch #AIInfrastructure #SGLang #LLM