なんてこと。。。これは、AI における次の大きなパラダイム シフトになるかもしれません。🤯 Tencent + Tsinghua は、Continuous Autoregressive Language Models (CALM) という論文を発表したばかりで、これは基本的に、すべての LLM が構築される「ネクスト トークン」パラダイムを殺します。 CALMは、一度に1つのトークンを予測する代わりに、一度に複数のトークンを表す連続ベクトルを予測します。 意味:モデルは「単語ごとに」考えません...ステップごとのアイデアで考えます。 それが非常識👇な理由は次のとおりです → 予測ステップが 4× 少ない (各ベクトル = ~4 トークン) → トレーニングコンピューティングを44%削減 → 離散語彙なし、純粋な連続推論 → 新しい指標 (BrierLM) が困惑を完全に置き換えます 彼らは、ソフトマックスなしで、トークンサンプリングも語彙の上限もなく学習する新しいエネルギーベースのトランスフォーマーも構築しました。 モールス信号を話すことから始まるようなものです...完全な考えをストリーミングすることに。 これが拡大すれば、今日のすべての LLM は時代遅れになります。