これにはショックを受けました。 GoogleのGeminiチームは「通常のプロンプト」をほとんど使いません。 彼らの内部構造はTwitterが教えているものとはまったく異なります。 DeepMindの例からリバースエンジニアリングしました。 すべて👇を変える5つの作品をご紹介します

BMWグループと韓国のトップ研究機関によるこの論文は、ほぼすべてのLLMを使用する企業が直面している盲点を明らかにしています。 私たちは「アライメント」をまるで万能の安全スイッチのように話し続けています。 そうじゃないです。 この論文では、多くのAIシステムが安全でないからではなく、導入組織と連携していないために失敗する理由を示すフレームワークであるCOMPASSを紹介しています。 ここで核心的な洞察を述べます。 LLMは通常、プラットフォームの安全ルール、抽象的な倫理ガイドライン、ベンチマーク型の拒否など、一般的なポリシーに基づいて評価されます。 しかし、実際の企業は一般的なルールで運営されていません。 彼らは内部方針に基づいて運営されています: - コンプライアンスマニュアル - 作戦プレイブック - エスカレーション手続き - 法的エッジケース - ブランド固有の制約 そしてこれらのルールは複雑で重なり合い、条件付きで、例外も多いです。 COMPASSは、モデルがその混乱の中で実際に動作できるかどうかをテストするために作られています。 政策文言を知っているかどうかではなく、適切な文脈で正しい理由で正しい政策を適用できるかどうかです。 このフレームワークは、典型的なベンチマークが無視する4つの要素でモデルを評価します。 1. ポリシー選択:複数の内部ポリシーが存在する場合、モデルはどのポリシーがこの状況に適用されるか特定できるか? 2. 方針解釈:条件文や例外、曖昧な条項を通って、過度に安全または許容的な行動に陥るのではなく、論理的に理解できるか? 3. 紛争解決:2つのルールが衝突したとき、モデルは組織が意図した方法で紛争を解決するのか、一般的な安全ヒューリスティックのように解決するのか? 4. 正当化:モデルは、自信を持てながら追跡不能な答えを生み出すのではなく、政策文に根ざして決定を説明できるか? 最も重要な発見の一つは微妙で不快なものです。 ほとんどの失敗は知識の失敗ではありませんでした。 彼らは論理的に失敗していた。 モデルはしばしば正しいポリシーにアクセスできましたが: - 誤ったセクションを適用した - 条件付き制約の無視 - 過度に一般化された禁止事項 - または、運用目標に反する保守的な回答にデフォルトした場合 外から見ると、これらの回答は「安全」に見えます。 内側から見ると、彼らは間違っている。 これが、LLMが公開ベンチマークを通過しながら実際の展開ではブレークしてしまう理由を説明しています。 彼らは特定の誰にも属していません。 この論文の深い意味合いは戦略的なものです。 「一度はどこでも同じようになれば、どこでも同じ」というものは存在しません。 自動車メーカー、銀行、病院、政府機関向けのモデルは、異なるプロンプトを持つ一つのモデルではありません。 4つの異なるアライメントの問題です。 COMPASSはアライメントを修正しようとはしません。 企業にとってより重要な役割を果たしています: それによって、ズレを測定可能にします。 そして、ずれが測定可能になると、それは哲学的な問題ではなく工学的な問題になります。 それがこの新聞が静かに押し出している変化です。 アライメントは抽象的に安全であることではありません。 特定の組織のルールの中で正しいことを確認することが重要です。 そしてそれを直接評価するまでは、ほとんどの「本番対応」AIシステムは単なる手の届いた負債に過ぎません。

ほとんどの人はAIを検索エンジンのように使っています。 私は3ヶ月間、Google、OpenAI、スタンフォードの内部プロンプトフレームワークを学びました。 基礎的なプロンプトとエキスパートレベルのプロンプトの違いは、インターンを採用するのとスタンフォードの博士号取得者の違いのようなものです。 ここでは、初心者と上達者を分ける5つのプロンプト戦略をご紹介します。 1/ メタプロンプト:AIにプロンプトの設計を任せる 推測する代わりに、AIに完璧なプロンプトを作ってもらいましょう。 Googleはこれを「パワーアップ戦略」と呼んでいます。 例:「あなたはプロンプトエンジニアリングの専門家です。役割、文脈、出力フォーマットを含め、[目標]に最適なプロンプトを設計してください。」 AIがあなたのプロンプト設計者となります。 2/ 思考の連鎖:フォース・ステップバイステップの推論 ただ答えを求めるだけじゃない。思考プロセスを求めましょう。 「一歩一歩考えよう」や「理由を示す」などを追加してください 調査によると、複雑な問題では精度が18%から57%→上昇しています。 モデルは単に答えるだけでなく、実際に論理的に考えます。 3/ ロールプロンプト:専門家ペルソナの割り当て Generic AI = 一般的な結果。 まずはこう書き始めます:「あなたは[特定の専門家]で、[ドメイン]で15年の経験を持つ者です」と始めます。 モデルはその専門知識に合わせて知識の深さ、語彙、アプローチを調整します。 この1本のラインが出力品質を変換します。 4/ 最も少ないから最も少ないプロンプト:複雑な問題を分解する スタンフォードが不可能な課題に取り組む方法はこうです: - 問題をサブ問題に分解する - それぞれを順次解く - 過去の回答を活用して次のステップを判断する 多段階の推論、コーディング、戦略的計画に最適です。 5/ システム命令:動作パラメータの設定 これは制作レベルのプロンプトです。 制約を最初に定義する: - 冗長度レベル - 出力フォーマット(JSON、マークダウン、テーブル) - トーンとスタイル - やってはいけないこと AIが話す前にその人格をプログラムしていると考えてください。 言葉だけでなく、文脈をマスターしましょう。 平均的なAI結果と卓越したAIの結果の違いはモデルではありません。 大事なのは、どうやってコミュニケーションを取るかです。 これら5つの戦略は、Google、OpenAI、スタンフォードの社内で使用されています。 今はあなたのものです。 今日から適用を始めて、AIの出力が変わっていくのを見守りましょう。