私はよくAIの制御について話します。しかし、時々、人々が私が「より良いプロンプト」のことを言っていると思っていることに気づきました。そこで、コントロールとはどういう意味かについての私の考えを、グラフィックを逆方向に解決しているのです。 コンピュータグラフィックスの歴史は、最初に制御、次に品質という明確な進歩をたどっています。曲線、三角形、ポリゴン、メッシュなどの適切な抽象化を確立し、画面上に望むものを正確に描くことができるようにするには、何十年もかかりました。これらの基本的な構成要素は、正しいものであることが証明されたため、あまり変わっていません。エド・キャットマルの手から最新のゲーム エンジンに至るまで、ピクセルを制御する方法の基本原則は驚くほど安定しています。この基本は、制御のためだけでなく、複雑なシーンを記述およびレンダリングするための効率的な方法として登場しました。 レンダリング品質は最後のフロンティアでした。1987年にRendermanの最初のバージョンを使用してモデル化されたキューブは、現在のBlenderでモデル化されたものと同じ幾何学的原理に従っています。劇的に異なるのはレンダリングです - 照明、マテリアル、影、反射により、リアルに感じられます。業界は数十年かけて不気味の谷を閉鎖し、フォトリアリズムに近づくためにますます洗練されたレンダリングシステムを構築しました。もちろん、多くのグラフィックスの革新により、制御と品質の両方が同時に向上し、グラフィックスの進歩の歴史は、単に「制御から品質」よりも複雑です。 しかし、この命令は恣意的なものではありませんでした。グラフィックスパイプライン自体がそれを強制します:ジオメトリは描画するものを定義し、シェーダーはそれがどのように見えるかを決定します。リアルタイムエンジンでさえ、最初に詳細レベルのコントロールを確立し、次にそれらの制約内でレンダリング品質を向上させるというパターンに従います。 AIはこの流れを完全に逆転させました。 今日のジェネレーティブ モデルは、従来のパイプラインに匹敵する、またはそれを超えるフォトリアリスティックなレンダリング品質を実現し、大規模なトレーニングを通じてジオメトリからグローバル イルミネーションまで、グラフィックス スタック全体を効果的に学習します。彼らは、モデリングとレンダリングの間の従来の分離を崩壊し、高レベルの説明から素晴らしい画像を作成できるエンドツーエンドのシステムを作成しました。 欠けているのはコントロールです。 フォトリアリスティックなシーンを数秒で生成できますが、何十年にもわたるグラフィックスの研究によってもたらされた正確な制御が欠けています。アーティストが期待する粒度でジオメトリを調整したり、マテリアルを微調整したり、照明を操作したりすることは簡単にできません。従来のグラフィックスの決定論的な性質(すべてのパラメータが予測可能な効果を持つ)は、確率モデルに取って代わられました。 これは逆のグラフィックスの問題です:コントロールを解く前にレンダリングを解きました。私たちのモデルは素晴らしい画像を作成できますが、コンピューターグラフィックスを非常に強力にした基本的な抽象化、つまりあらゆる詳細レベルで正確で意図的な変更を加える能力が欠けています。 これは永続的な制限ではありません。コンピューターグラフィックスが最終的にレンダリングの問題を解決したように、AIは制御の問題を解決します。問題は「もし」ではなく、どのようにするかです。私たちは、ジェネレーティブ モデルを制御するための適切な抽象化、つまり、以前にコンピューター グラフィックスに革命をもたらした曲線、三角形、多角形に相当するものを見つけています。解決策は違って見えるかもしれないと思います。ニューラルネットワークにネイティブな制御のための新しいプリミティブは、従来のグラフィックスの概念をこの新しいパラダイムに押し込もうとするよりも、正しい答えかもしれません。ただし、従来のグラフィックスと AI を組み合わせたハイブリッド アプローチも検討する価値があると思います。 目標は、コンピューター グラフィックスを創造的な表現の基礎的なツールにしたのと同じレベルの予測可能性と精度を提供することです。それが最終的な目標ですが、リアルタイムで安価で、可能な限り直感的で汎用的な正確な制御が可能です。 今回は最後にコントロールが来る。しかし、それは来ています。