🚀 DeepSeek-OCR - den nya gränsen för OCR från @deepseek_ai, som utforskar optisk kontextkomprimering för LLM, körs blixtrande snabbt på vLLM ⚡ (~ 2500 tokens/s på A100-40G) - drivs av vllm = = 0.8.5 för dag-0 modellstöd. 🧠 Komprimerar visuella sammanhang upp till 20 × samtidigt som 97 % OCR-noggrannhet på <10× bibehålls. 📄 Överträffar GOT-OCR2.0 och MinerU2.0 på OmniDocBench med färre vision-tokens. 🤝 vLLM-teamet arbetar med DeepSeek för att ta med officiellt DeepSeek-OCR-stöd i nästa vLLM-version – vilket gör multimodal inferens ännu snabbare och enklare att skala. 🔗 #vLLM #DeepSeek #OCR #LLM #VisionAI #DeepLearning