超越预训练，我想象大多数学习将如何运作。 1. AI模型/系统将维护大量可检索的知识集合。这将包括诸如“加利福尼亚州的首府是萨克拉门托”和策略如“在玩大富翁时，尽早购买大量物业”或“确保Python中的默认参数是不可变的”等事实。系统将检索相关的事实/见解/策略来执行任务。 2. AI将摄取所有类型的数据（书籍、代码库、新闻文章、流媒体感官输入）。这将在训练时以及在执行任务时进行。 3. 当系统遇到新数据时，它将进行大量推理以理解数据，特别是在系统现有知识的背景下理解数据。如果数据难以理解，例如技术研究论文，这个过程将非常计算密集，推理的输出将被提炼成一组新的见解、策略和事实，这些都存储在系统的知识中（以及与提取见解所依据的原始数据的引用）。如果新知识与现有检索的事实相矛盾，将会进行更多推理以尝试解决矛盾，并且知识集合中的现有事实将被更新（以及关于更新原因的上下文）。 这具有一些良好的特性。 - 一种在AI收集新信息时删除或修正不正确知识的方法。 - 关于模型所知道的内容及其执行任务策略的一些可解释性。还有审计/检查模型所知道内容的能力。 - 一种利用训练时间推理的方式，而不仅仅是在推理时进行推理然后丢弃辛苦获得的见解。 - 这种训练时间推理有潜力更加数据高效，但计算密集度更高。 这种训练时间推理、知识存储和检索的过程在合适的架构下可能会出现，但我预计它最初会被内置。