當我在 Google 工作時，我有幸與一些最優秀的機器學習 (ML) 工程師合作。他們專注於特徵工程。通過選擇指導 ML 模型的因素，他們的進展可以產生數千萬到數億的額外收入。 想像一個 Excel 試算表，裡面有數百列數據。添加兩列，乘以兩個，除以另一個，然後減去第四個。這些都是特徵。ML 模型使用特徵來預測最佳的廣告展示。 這最初是一種工藝，反映了那個時代的氛圍。隨著時間的推移，我們將這種藝術機械化成一台名為 AutoML 的機器，這大大加速了正確特徵的發現。 今天，強化學習 (RL) 正處於 15 年前特徵工程的同一位置。 什麼是 RL？這是一種教導 AI 實現目標的技術。 想想一個勇敢的 Roomba。它進入一個髒亂的房間。 然後它必須制定清潔計劃並執行它。制定計劃是第一步。為了完成計劃，就像任何一個好工作者一樣，它會獎勵自己，不是通過玩桌上足球，而是通過獲得一些積分。 它的獎勵函數可能是：每清理一平方英尺 +0.1，撞到牆壁 -5，帶著滿滿的塵桶回到停靠處 +100。這個不知疲倦的吸塵器的行為是由這個簡單的算術塑造的。（注意：我在這裡簡化了很多。） 今天，AI 可以制定計劃，但還不能開發獎勵函數。人們這樣做，就像我們 15 年前開發特徵一樣。 我們會看到 AutoRL 嗎？不會有一段時間。RL 的技術仍在辯論中。Andrej Karpathy 在最近的一個播客中強調了這場辯論。 這一波 AI 改進的浪潮可能取決於 RL 的成功。今天，這仍然是一種工藝。自動化的潛力——無論是部分還是完全——將改變我們構建代理系統的方式。

現在是上午9:30。你知道你的代理人在哪裡嗎？ 隨著我們進入代理 AI 的時代，這是一個越來越重要的問題。ChatGPT 啟動了 AI 的消費者使用，將人類所有的知識壓縮成一個模型。現在我們要求 AI 代表我們在工作中行動。 分析這份抵押貸款聲明。弄清楚這個人是否有醫療保險。回答這個關於 2026 年本田奧德賽小型貨車的來電。今天 AI 代理人正在做這一切。此外，AI 每天都在編寫數百萬行代碼。 我的編碼代理人 Claude Code 幫助我編寫軟體。它在我的電腦終端上運行，橙色光標閃爍。當我使用 Notion AI 來總結文件時，它在 Notion 的雲端運行。一個大型企業處理客戶支持查詢時，無論是 Azure、Google、Amazon 還是其他，都是在他們的雲端運行 AI。 哪種類型的代理應該在什麼位置運行：在設備上、在我的雲端，還是在軟體供應商的雲端？ 對於供應商：供應商必須提供所有三種，但出於不同的原因。客戶端代理處理隱私敏感的任務，包括訪問僅在本地可用的數據，如瀏覽器歷史、當地文件和剪貼簿內容。它們還可以利用本地資源。自己的雲端部署滿足企業控制和合規要求。託管雲為大多數用例提供可擴展性和便利性。 對於企業：企業需要管理所有三種。編碼代理很可能會繼續在員工設備上運行。某些高速度代理可能會在託管雲上運行。核心軟體和基礎設施將在他們自己的雲端運行。這呈現出最複雜的拓撲，但這是商業現實。 對於個別用戶：個別用戶將主要使用客戶端和託管雲。除了軟體開發人員，並不是很多人運行自己的基礎設施。 這些混合部署然後通過所有代理之間的通信協議進行多路復用，無論是 MCP、A2A 還是未來出現的協議。總的來說，我們正在企業內部創建新的代理網絡。 所以下次當上午9:30，你的代理人出門時，你就會知道該檢查你的筆記本電腦、你的雲端，還是你的供應商的數據中心。