Náš nejnovější blog komunity PyTorch představuje autora týmu SGLang Biao (Stefan) H. o tom, jak SGLang posouvá hybridní modely Mamba plus Attention díky lepší efektivitě paměti, cachování předponců, spekulativnímu dekódování a výkonu servírování. 🖇️ Přečtěte si blog: #PyTorch #AIInfrastructure #SGLang #LLM