Blog cộng đồng PyTorch mới nhất của chúng tôi có tác giả Biao (Stefan) H. từ đội SGLang nói về cách SGLang phát triển các mô hình hybrid Mamba cộng với Attention với hiệu suất bộ nhớ được cải thiện, bộ nhớ đệm tiền tố, giải mã suy đoán và hiệu suất phục vụ. 🖇️ Đọc blog: #PyTorch #AIInfrastructure #SGLang #LLM