Hãy xem mô hình Sokoban 30B được huấn luyện bởi Echo vượt trội hơn các mô hình lớn hơn nhiều lần, bao gồm DeepSeek-R1 và GPT-OSS-120B. Thay vì các trung tâm dữ liệu lớn hơn hoặc đội ngũ GPU đắt tiền hơn, Echo mở rộng học tăng cường với phần cứng tiêu dùng có mặt ở khắp mọi nơi.

Tình báo đã bị khóa trong những khu vườn có tường bao quanh. Hôm nay, chúng tôi đang mở cổng. Thị sai hiện chạy ở chế độ Hybrid, với máy Mac và GPU phục vụ các mô hình lớn cùng nhau trong một khung phân tán thực sự.

Bí mật đằng sau hiệu suất của Parallax nằm ở những tối ưu hóa cấp máy chủ chính: – Nhóm liên tục: nhóm động các yêu cầu để tối đa hóa việc sử dụng phần cứng và thông lượng. – Bộ nhớ đệm KV theo trang: thiết kế theo khối ngăn chặn phân mảnh bộ nhớ, xử lý hàng ngàn yêu cầu đồng thời. – Công nhân không đồng nhất: hiệu suất tối ưu trên các GPU và Mac. Nhanh chóng. Đáng tin cậy. Phân phối hoàn toàn.