GPT 5 が直線的な進歩のように感じられる理由: AI では、直線的なゲインを生み出すには、コンピューティング データとトレーニング データで指数関数的な利益を得る必要があります。トレーニングに投入されるコンピューティングは持続不可能なほど増加しています(ムーアの法則の3倍のペースで2倍に増加しています)。事前学習用のテキストデータはほぼ抽出されます。 GPT5 は明らかに改善されています。そして、改善が直線的に感じられることは誰も驚かないはずです - なぜなら、それらは大部分そうだからです。ステップ関数を提供し、曲線を曲げる新しいパラダイムが登場するでしょう(推論がそうであったように)。しかし、現在のパラダイムは収益の逓減を示しています。 はっきり言って、AI は素晴らしいです。それは信じられないほどの贈り物です。それはすでに私たちの世界を変えています。しかし、急速な離陸、指数関数的な進歩、再帰的自己改善の物語は、これらのスケーリング法則を上に上げることの収益逓減/指数関数的な困難に遭遇します。
1.71K