当我在谷歌工作时，我很幸运能与一些最优秀的机器学习（ML）工程师合作。他们专注于特征工程。通过选择指导ML模型的因素，他们的进展可以产生数千万到数亿的额外收入。 想象一下一个包含数百列数据的Excel电子表格。添加两列，乘以两列，除以另一列，然后减去第四列。每一个都是一个特征。ML模型使用特征来预测最佳广告展示。 这开始时是一种手艺，反映了那个时代的氛围。随着时间的推移，我们将这种艺术机械化为一个名为AutoML的机器，极大地加速了正确特征的发现。 今天，强化学习（RL）正处于15年前特征工程的同样位置。 什么是RL？这是一种教AI实现目标的技术。 想象一个勇敢的Roomba。它进入一个肮脏的房间。 然后它必须制定清洁计划并执行。制定计划是第一步。为了完成计划，就像任何优秀的工作者一样，它会给自己奖励，不是通过玩桌上足球，而是通过获得一些积分。 它的奖励函数可能是：每清洁一个新的平方英尺得+0.1，撞到墙壁得-5，满尘箱返回到充电座得+100。这台不知疲倦的吸尘器的行为由这个简单的算术决定。（注意：我在这里简化了很多。） 今天，AI可以制定计划，但还不能开发奖励函数。人们做这件事，就像我们15年前开发特征一样。 我们会看到AutoRL吗？还要一段时间。RL的技术仍在辩论中。Andrej Karpathy在最近的一期播客中强调了这一辩论。 这波AI改进的浪潮可能依赖于RL的成功。今天，这仍然是一种手艺。自动化的潜力——部分或完全——将改变我们构建自主系统的方式。

现在是上午9:30。你知道你的代理在哪里吗？ 随着我们进入代理 AI 的时代，这个问题变得越来越重要。ChatGPT 推出了 AI 的消费者使用，将人类所有知识压缩到一个模型中。现在我们要求 AI 代表我们在工作中行动。 分析这份抵押贷款声明。弄清楚这个人是否有医疗保险。回答关于 2026 年本田奥德赛厢式车的来电。今天，AI 代理正在做这一切。此外，AI 每天还在编写数百万行代码。 我的编码代理 Claude Code 帮助我编写软件。它在我的计算机终端上运行，橙色光标在闪烁。当我使用 Notion AI 来总结文档时，它在 Notion 的云端运行。一个大型企业处理客户支持查询时，会在他们的云端运行他们的 AI，无论是 Azure、Google、Amazon 还是其他。 哪种代理应该在什么位置运行：在设备上、在我的云上，还是在软件供应商的云上？ 对于供应商：供应商必须提供所有三种，但出于不同的原因。客户端代理处理隐私敏感的任务，包括访问仅在本地可用的数据，如浏览器历史记录、本地文件和剪贴板内容。它们还可以利用本地资源。自己的云部署满足企业控制和合规要求。托管云为大多数用例提供可扩展性和便利性。 对于企业：企业需要管理所有三种。编码代理很可能仍然在员工设备上运行。某些高速度代理可能会在托管云上。核心软件和基础设施将在他们自己的云上运行。这呈现出最复杂的拓扑，但这是商业现实。 对于个人用户：个人用户主要使用客户端和托管云。除了软件开发人员，很多人并不运行自己的基础设施。 这些混合部署通过代理之间的所有通信协议进行多路复用，无论是 MCP、A2A 还是未来出现的协议。总的来说，我们正在企业内部创建新的代理网络。 所以下次当你看到上午9:30，你的代理出门时，你就会知道该检查你的笔记本电脑、你的云，还是你的供应商的数据中心。