Unsere neue Fallstudie darüber, wie Sijun Tang (@sijun_tan) vom UC Berkeley Sky Computing Lab und zuvor bei @Agentica_ LLoCO entwickelt haben - eine Technik, die 128k Kontextverarbeitung mit 30× weniger Tokens und 7,62× schnelleren Inferenz ermöglicht. Angetrieben von den H100 GPUs von Hyperbolic Labs.