我們新的案例研究介紹了加州大學伯克利分校天空計算實驗室的唐思俊（@sijun_tan）以及之前在 @Agentica_ 的工作，構建了 LLoCO——一種能夠以 30 倍更少的令牌和 7.62 倍更快的推理速度處理 128k 上下文的技術。由 Hyperbolic Labs 的 H100 GPU 提供支持。