昨日、新しいWebブラウザであるChatGPT Atlasをリリースしました。Atlas では、ChatGPT エージェントがあなたの代わりに物事を成し遂げることができます。この機能によって、人々の仕事や日常生活がどのように効率的かつ効果的になるかを見るのが楽しみです。 ChatGPT エージェントは強力で便利で、安全になるように設計されていますが、間違った製品を購入しようとしたり、重要なアクションを実行する前にチェックインを忘れたりするなど、(時には驚くべき)間違いを犯す可能性があります。 私たちが非常に慎重に調査し、軽減している新たなリスクの1つは、攻撃者がWebサイト、電子メール、またはその他のソースに悪意のある指示を隠して、エージェントをだまして意図しない方法で行動させようとするプロンプトインジェクションです。攻撃者の目的は、買い物中にエージェントの意見を偏らせようとするような単純なものから、攻撃者がエージェントに電子メールの機密情報や資格情報などの個人データを取得して漏洩させようとするような結果的なものまであります。 私たちの長期的な目標は、最も有能で信頼でき、セキュリティを意識した同僚や友人を信頼するのと同じように、ChatGPT エージェントがブラウザを使用できるようになることです。私たちはそれを達成するために一生懸命取り組んでいます。今回のリリースでは、広範なレッドチームを実施し、悪意のある指示を無視したモデルに報酬を与える新しいモデルトレーニング手法を実装し、重複するガードレールと安全対策を実装し、そのような攻撃を検出してブロックするための新しいシステムを追加しました。しかし、プロンプトインジェクションは依然としてフロンティアの未解決のセキュリティ問題であり、攻撃者はChatGPTエージェントをこれらの攻撃に陥らせる方法を見つけるために多大な時間とリソースを費やすでしょう。 ユーザーを保護し、これらの攻撃に対するモデルの改善を支援するため: 1. ブロック攻撃キャンペーンに気付いたときに迅速に特定できるように、迅速な対応システムを優先しました。 2. また、セキュリティ、プライバシー、安全性にも多額の投資を続けており、モデルの堅牢性を向上させるための研究、セキュリティモニター、インフラストラクチャのセキュリティ制御、および多層防御によるこれらの攻撃を防ぐのに役立つその他の技術が含まれています。 3. Atlasは、自分自身を守るためのコントロールを提供するように設計されています。ChatGPT エージェントがユーザーに代わってアクションを実行できるようにする機能を追加しましたが、資格情報にはアクセスできませんが、ログアウト モード (ログアウト モード) と呼ばれる機能が追加されました。アカウント内でアクションを実行する必要がない場合に、このモードをお勧めします。現在では、「ログインモード」は、プロンプトインジェクションのリスクが低い、非常に信頼できるサイトでのスコープが広いアクションに最も適していると考えています。一般的に、ショッピングカートに材料を追加するように依頼する方が、「メールを確認して、必要なアクションを実行してください」などの広範または漠然としたリクエストよりも安全です。 4. エージェントが機密性の高いサイトで操作している場合、サイトの機密性を警告し、エージェントが作業を行うのを監視するためにタブをアクティブにする必要がある「ウォッチモード」も実装されています。機密情報を含むタブから離れると、エージェントは一時停止します。これにより、エージェントが実行しているエージェントのアクションを常に認識し、制御することができます。 今後、ChatGPT エージェントが個人と企業の両方のワークフローで安全かつ確実に動作できるように、機能、ガードレール、安全制御を追加する予定です。 新しいレベルのインテリジェンスと能力には、テクノロジー、社会、リスク軽減戦略が共進化する必要があります。そして、2000年代初頭のコンピュータウイルスと同様に、プロンプトインジェクション攻撃について考えることも含めて、責任ある使用法を誰もが理解し、このテクノロジーから安全に恩恵を受ける方法を学ぶことが重要だと考えています。 私たちは、ChatGPT エージェントが Atlas のワークフローをどのように強化するかを見ることに興奮しており、全人類の利益のために最も安全でプライベートで安全な AI テクノロジーを構築するという使命を断固として実行しています。