すべての道はクロムに通じています

今週末に AI エージェントを構築します。 ブログを書かない> >スライドはやらない コードを書く> ゼロから物事を>して構築する 100+ オープンソース AI エージェントと RAG アプリ (すでに 72k+ 星) ギットハブ:

スタンフォード大学の研究者は、AI エージェントが失敗し続ける理由を解明しました。 彼らは3つのベンチマークで500+エージェントの障害を監視しました。 誰も予想していなかったパターンを見つけました。 初期のミスは問題を引き起こすだけでなく、完全なシステムメルトダウンにつながります。 これはエラー伝播と呼ばれます。 ステップ 3 で間違った記憶の呼び起こしが 1 つあります。ステップ 10 までに、エージェントは失われます。ステップ 20 では、ソルトシェイカーを見つける代わりにトイレに石鹸を入れます。 そこで彼らは、LLM エージェントがどこが間違っているかを文字通り診断し、自分自身を修正できるフレームワークである AgentDebug を構築しました。 AIの治療法だと考えればいいのですが、実際に効果があります。 このフレームワークは、次の 3 つのことを行います。 → まず、すべてのエラーを特定のモジュール(メモリ、計画、リフレクション、アクション)にマッピングします。 → 第二に、すべてを破滅させた重大な失敗を追い詰めます。 → 第三に、その正確な失敗点で外科的フィードバックを提供します。 指標は非常識です。 - 45%のステップ精度(ベースラインは28%) • 根本原因の発見が 24% 向上 - タスクの成功率が最大26%向上 • 小型モデルは大型モデルよりも多くの利益を得る しかし、これがワイルドなことです。 彼らは、ほとんどの失敗がステップ6〜15に集中し、初期のミスが混乱に発展することを発見しました。 計画ミスが先頭(78件)、次いで反省と記憶が続く。エージェントは文字通り、起こらなかった出来事を幻覚で見る。彼らは結果を誤解したり、制約を無視したりします。 AgentDebug はすべてのエラーを修正するわけではありません。すべてを脱線させた 1 つの重大な間違いを突き止め、再実行のための的を絞ったフィードバックを提供します。最初から再起動するのではなく、故障箇所で外科的に修正します。 AI の未来は、完璧なエージェントを作ることではないかもしれません。それは、自分自身をデバッグできるエージェントを構築することであり、すべての失敗を学習の機会に変えることかもしれません。 私たちはAIが間違いを犯すのを防ぐわけではありません。私たちはそれらを通して進化するように教えています。