原文链接：Rich Sutton and Khurram Javed: Why AI Models Stop Learning, and How to Start It Again，头图来自：AI生成
过去几年，人工智能行业逐渐形成了一套高度一致的发展逻辑：收集更多数据、扩大模型规模、投入更多计算资源，再通过预训练和后训练不断提升能力。当高质量互联网数据变得稀缺，合成数据、模型自生成数据和强化学习又被寄予厚望，希望继续延长 Scaling 曲线。但在强化学习奠基人 Richard Sutton 看来，今天的AI行业可能忽略了一个更基础的问题：我们制造出了越来越强大的机器学习系统，却让这些机器在真正进入世界之后停止了学习。
在最新的红杉资本《Training Data》播客中，Sutton与他的学生、Oak Lab联合创始人Khurram Javed，与红杉合伙人Sonya Huang、Alfred Lin围绕《The Bitter Lesson》、大语言模型、合成数据、持续学习、灾难性遗忘、世界模型、抽象能力以及下一代AI架构展开了一场近一小时的讨论。
Sutton并没有否定LLM，相反，他称其为惊人的科学突破；但他认为，熟练使用语言只是智能的一部分，真正的智能还必须能够在部署之后继续从经验中学习、形成新的抽象、修正自己的世界模型，并保持长期一致性。
这场对话最尖锐的地方，在于它把AI还能不能继续Scaling的问题改写成了另一个问题：如果真实世界的复杂度远大于任何模型，智能是否注定不能在训练结束时被冻结？Sutton的答案非常明确学习本来就应该是持续发生的。正如他在节目里反复强调的那句话：我不奇怪，是这个领域变奇怪了。
嘉宾背景：
Richard Sutton：现代强化学习最重要的奠基者之一，与Andrew Barto合著《Reinforcement Learning: An Introduction》。2019年发表《The Bitter Lesson（苦涩的教训）》，主张长期来看，能够随计算规模扩展的通用学习与搜索方法，会反复胜过依赖人工注入领域知识的方法。如今他与Khurram Javed共同创办Oak Lab，继续押注持续学习与经验驱动的智能。
Khurram Javed：Sutton在阿尔伯塔大学的学生和长期合作者，研究重点包括continual learning、plasticity、Continual Backprop与Big World Hypothesis。现在与Sutton共同创办Oak Lab，试图从算法层面解决模型持续学习时的灾难性遗忘和可塑性下降。
Sonya Huang：红杉资本合伙人、《Training Data》主持人之一。对话中她持续站在当前基础模型路线的立场追问：合成数据为什么不够、模拟器为什么不能替代真实经验、上下文与记忆为什么不能承担个性化学习。
Alfred Lin：红杉资本合伙人。对话中主要从工程、知识积累与产业现实角度追问：人类文化和既有知识如何进入智能系统，以及为什么大型AI实验室没有率先采用持续学习范式。
以下为完整对话翻译：
开场引入：
Rich Sutton： 大家有时候觉得我持有一个非常激进的观点。他们提问时总爱以你的想法跟其他所有人多么不同作为开场白。但我完全不这么看。我认为我思考的是最平常、最自然的方式，是现在的其他人在思维上变得有些古怪了。我是认真的。只是最近这段时间，人们的想法变奇怪了。
在这波 AI 狂热出现之前，你根本不需要特意强调持续学习（Continual Learning）这个词，因为去谈论一种不持续的学习在逻辑上根本毫无意义。所有的学习本来就必须是持续的。我们始终在行动，然后我们从中学习。这才是最正常的思考方式。我一点也不奇怪，是这个领域变奇怪了他们竟然觉得有必要单独造一个词叫持续学习。可那本来就是学习的本质。
主对话：
Sonya Huang：今天我们非常荣幸能邀请到伟大的 Rich Sutton 先生。Rich，你开创了强化学习，写下了这门学科的开山教材，培养了像 Dave Silver 这样的领军学者，还写出了被整个 AI 领域奉为圭臬的随笔《苦涩的教训》（The Bitter Lesson）。你一直是指引这个领域向前迈进的巨擘之一。非常感谢你今天抽出时间加入我们。
今天与 Rich 一同到场的还有他的联合创始人、他在阿尔伯塔大学的前学生 Khurram Javed。你们二位已经携手创立了 Oak Lab。我非常期待今天能和你们深入探讨。在今天的对谈中，我们将从《苦涩的教训》聊起，探讨我们当下的世界现状，以及大语言模型（LLM）究竟能否带我们走向终极目标。随后，我们将过渡到你们的科研路线图以及对 Oak Lab 的规划。
Rich，或许可以先带我们回到过去。我原本打算从《苦涩的教训》切入，但我其实想把时间拉得更早一些。几十年前，你就决定将自己的整个职业生涯奉献给强化学习，尤其是深度强化学习，并且在那个学科极度原始稚嫩的年代，将阿尔伯塔大学打造成了该领域的全球堡垒。究竟是什么给予了你如此坚定的信念？
Rich Sutton： 不然你还能做什么呢？我们一辈子都在试图理解心智（Mind）的奥秘。而学习是心智的核心组成部分，拥有目标同样是心智的核心，它们也是智能的绝对核心。所以，我当时只是在倍加坚定地坚持我一直以来的思考罢了。
Sonya Huang：当时有人觉得你疯了吗？
Rich Sutton：那是一个寒冬，AI 寒冬。
Sonya Huang：那是哪一年？
Rich Sutton：2003 年。说实话，当时的情况确实有点不可思议，因为那时我病得非常重。我快要死了。2003 年的时候我身患癌症，正在走向死亡。 但我并没有真的死掉那场病折磨了我好几年，可我就是没死成，病情又进入了一次缓解期。于是我心想，好吧，既然我还没死，既然我死不了，而且这日子拖得够久了，那我不如干脆去找份新工作吧。所以我去了阿尔伯塔大学，并在那里开始教书。最终，我活了下来。这确实挺不可思议的。
我现在可以用开玩笑的语气说这些，但当时情况真的极其严峻。这也引出了一个更加深刻的问题：当一个人只剩下几个月生命时，为什么还要继续死磕这些科研课题？我总会想起本杰明富兰克林说过的一句话：如果你好奇一个人为什么要做某件事，原因几乎逃不出两样要么出于习惯，要么出于虚荣。我觉得这话说得很准。对我而言，可能只是习惯性地继续做我一直在做的事情，又或者是因为虚荣心，我也说不清。但鉴于我当时快死了，我觉得更多还是出于一种习惯。
Sonya Huang：哇，这简直是命运的垂青。
Rich Sutton： 是的，对我来说，保持坚毅专注从来不是什么难事。关于这个问题，我想再多展开讲讲。 大家有时候觉得我的观点很激进。他们在提问时，总喜欢强调我的想法与所有人大相径庭。但我完全不这么认为。我觉得我的想法再普通不过了，是其他人在思维上走偏了。我是认真的。这种古怪的思维只是近年才出现的。
如果你回顾历史，哪怕只看过去十年人们对心智的探讨，你就会发现大家都认同：学习至关重要，你必须拥有明确的目标，感知同样不可或缺。我们是低阶生物，我们以极快的频率产生行动并感知数据，但我们必须在更高维度进行抽象思考。
把时间往前推几年，在这一切 AI 狂热出现之前，你根本不必特意去说持续学习，因为谈论不持续的学习在逻辑上根本讲不通。所有的学习本身就是持续发生的，它不是一个孤立的阶段。我们始终在行动，然后从中学习。这才是最符合常理的思维方式。我并不奇怪，是现在的学术界和产业界变奇怪了他们居然觉得需要造一个词叫持续学习。那本来就只是学习而已。
Sonya Huang：我没疯，是其他人都疯了。这真是一句绝妙的座右铭。
Alfred Lin： 我们得就这句话发一条社交动态。我们非常庆幸你活了下来，整个 AI 领域也非常庆幸你活了下来，感谢你一直在推动 AI 的前沿边界。
Rich Sutton：我也真的感到非常幸运。
Alfred Lin： 感谢你推动了 AI 的前沿，也感谢你为此付出的所有努力。在过去二三十年里，你培养了大量同样在推动领域边界的杰出学生。你是如何在几十年的岁月里挑选这些学生的？
Rich Sutton： 我喜欢保持谦逊，并指出所有伟大的决定往往都是自然而然发生的。我对挑选学生的感觉正是如此。我并不觉得自己有多么擅长挑选学生，有时候全凭运气好，有时候运气差。我不觉得自己挑选学生有什么过人之处。我现在正看着 Khurram 呢。我觉得有时候你就是很走运地碰到了极其优秀的人。比如当年是 David Silver 主动挑选了我。
Khurram Javed：是的。
Rich Sutton：Khurram，当年我是怎么把你招揽过来的？
Khurram Javed：我读硕士时并不是你的学生，我原本毕业后打算直接去工业界工作。后来我们合作做了一个项目那也是极其自然地开始的。我当时在做一个东西，Rich 刚好参加了一次会议，有人提到我在做那个方向，于是我被引荐了进来。我们便开始了合作，过程极其顺畅。那次合作让我感到非常愉快，Rich 感觉也特别棒。
半年之后，我们取得了一些实质性进展，顺理成章地，我们觉得应该把这项成果转化为一份博士论文开题报告。所以自始至终，我既没有走正式的申请流程，也没有特意去问你能当我的博士生导师吗？。我们先在一起做研究，然后一致认为这会是一篇极佳的博士论文，在那之后我才正式提交了博士申请。
Sonya Huang：人生的走向总是充满惊喜。让我们把时间拨到 2019 年。你写下了《苦涩的教训》，如今它已成为整个现代 AI 领域的经典圣经。在 2019 年写下这篇文章是一个非常微妙的时刻因为 ImageNet 爆发于 2009 年，AlphaGo 问世于 2015 年。是什么促使你在 2019 年做出这番反思并动笔写下它？因为当时围绕大语言模型的 Scaling Law 范式还没有全面爆发，但深度学习已经彻底证明了自己。
Rich Sutton： 嗯，那是长久积累的结果。正如《苦涩的教训》中所表述的那样，这是你可以跨越数十年观察到的普遍规律。这在很大程度上要归因于我亲身经历过的那轮符号主义 AI 的兴衰。它的核心思想完全在于：不要被试图灌输人类先验知识的执念所分心，只要专注于问题本身的底层需求，并专注于如何利用计算算力去实现规模化扩展。 我记得在公开发表的一年多前，我就写过几个版本的草稿，也做过相关的演讲。那并不是我对某一个具体历史时刻的临时起意，而是基于我长久以来的科研经历，看着不同的人尝试用各种不同的思维方式去构建智能系统后得出的深刻结论。
Sonya Huang：《苦涩的教训》的核心精髓到底是什么？这可能是我最近在各种会议里听到频率最高的词了。鉴于它的爆火，我想它可能已经被各种曲解和滥用了，甚至偏离了你最初的意图。那么你怎么看？它的精髓究竟是什么？你认为大家在理解它时最容易在哪里走偏？
Rich Sutton： 是的，你让我想起了社交平台上的讨论。我最近发过一条动态，尝试用 26 个英文单词来概括《苦涩的教训》。 大意是：不要像传统 AI 过去多次做的那样，被人类知识分散注意力；相反，要专注于能够随算力扩展的学习方法，比如搜索与学习。 所以，它真正的核心在于聚焦于算法与架构的根本改进。这并不是说你不需要精妙复杂的算法。你当然需要高超的算法，但你所需要的，是那些能够随着算力增长而不断释放潜力的算法。
Alfred Lin：而不是随着人类灌输的数据而扩展。
Rich Sutton： 而不是随着人类的干预输入而扩展，正是如此。如果我可以预判你们接下来的问题，你们一定会问：那么，大语言模型（LLM）算怎么回事？
Alfred Lin：它们到底是符合还是背离了《苦涩的教训》？
Rich Sutton： 我深入思考过这个问题，我记得我也发过相关动态。我的结论是：大语言模型既是《苦涩的教训》的正面典范，也是一个反面教材。
首先，大语言模型确实实现了伴随算力提升的巨大规模扩展，你只需要让它吞下整个互联网的数据，就能实现前所未有的能力跨越。因此，它确实展示了一种仅依靠通用可扩展方法就能大幅提升系统能力的范式。
然而，随着你进一步往前走，它最终会被这套信息源所困死。互联网的数据是有限的，你很难获得更多的高质量样本。而真实世界无比庞大，真实世界的复杂度和体量，远远超越了我们存储在互联网上的所有数据的总和。 所以到头来，过度依赖人类既有知识的大模型，最终会成为束缚我们向前迈进的反面案例。
Sonya Huang：我可以就这一点继续追问吗？
Rich Sutton：当然可以。
Sonya Huang：目前各大前沿基座模型实验室正在全力攻坚的方向之一，就是合成数据（Synthetic Data）生成，希望以此突破人类互联网现有化石燃料耗尽的困境。作为大模型 Scaling 范式的一部分，合成数据生成是否属于利用算力的通用方法？
Rich Sutton：不是。
Sonya Huang：为什么？
Rich Sutton：那完全是一个巨大的错误。
Sonya Huang：为什么这么说？
Rich Sutton： 这实在是一个太大的命题了也许这就是下一个重大的教训。这个想法在阿尔伯塔大学讨论了大概有五到十年了，我们称之为大世界视角或大世界假说（The Big World Hypothesis）。Khurram 后来还专门就此撰写并发表了一篇论文，名字就叫《大世界假说》。
Khurram Javed： 所谓大世界，指的是真实世界是无限巨大的。世界上有无穷无尽的事物等待去学习。你可以让人类去编写程序生成这些合成数据集，但世界上永远有更多超越这些数据集的新事物。正因如此，如果智能体能够直接从经验中学习，把人类从闭环中彻底剔除出去，你才能得到无所不能的通用系统。 因为世界如此宏大，人类期望 AI 去执行的任务如此繁多，智能体必须通过在自身经验中学习，才能具备解决任意问题的能力。
再回到合成数据的问题上：究竟由谁来决定什么是好的合成数据，什么是坏的合成数据？我随便写几行代码就能吐出海量的合成数据，但这些数据可能会彻底毁掉模型。目前来看，是由人类在做决定。这就是瓶颈所在你可以让人类来决定如何生成这些数据集，但这种路径若想扩展，你就必须依赖人类专家来判断数据集的好坏。因此，它在根本上被人类专家的认知极限卡死了。
Sonya Huang：难道模型的损失曲线（Loss Curve）不能替我决定吗？它难道不能告诉我模型用了数据集 A 比用了数据集 B 表现更好吗？
Khurram Javed： 话虽如此，但如果 OpenAI、Anthropic 或者所有新兴大模型实验室的工程师明天全都去度假了，谁来负责生成合成数据？问题就在这里。这些数据不是来自智能体自身的交互经验，不是智能体自主生成的。必须由人类来决定应该生成什么样的合成数据，而这离不开人类的专业知识。
举个例子，如果你想让一个系统去完成一项在物理层面极具挑战的任务比如你想要一架无人机像蝙蝠一样通过回声定位来自主飞行。对于这样的任务，什么才是正确的合成数据？我认为你必须去雇佣声学和空气动力学领域的领域专家，让他们先研究出什么是对的数据并将其生成出来，模型才有可能从中学习。但前提是人类专家必须先存在并搞懂它。到了这个阶段，我们再次被人类既有的认知边界给卡死了。
Sonya Huang：但人类可以构建无限维度的合成虚拟世界，而我们肉身所处的现实物理世界是有限的。
Khurram Javed： 让我们还是回到蝙蝠回声定位的例子，对吧？这是我的目标：我想要一台能够通过回声定位进行自主定位并穿梭飞行的无人机。如果这是目标，那么只要让这台无人机在物理世界中自主行动，它完全可以通过自身的经验去学会这项技能。但如果只靠合成数据，它是做不到的。无论你生成多少合成数据，哪怕你生成的合成数据模拟了 50 个不同的宇宙维度，只要没有人类专家先把其中的物理机理彻底摸透，你的无人机就绝不可能仅靠那些模拟数据学会这项任务。
Rich Sutton： 首先必须指出：合成数据是不真实的。我的意思是，它必然存在偏差。那只是一个合成的假想世界，不是真实世界，而这种差距至关重要。真实世界的复杂性深不可测。如果你写一个小程序去生成合成数据，无论你怎么写，它都只是一个小程序，生成出来的必然是一个极度简化的微缩世界。
打个比方，对我而言，当下最重要的事情是你脑子里正在想什么。对吧？你难道要对我说：为什么我不找点合成数据来搞清楚别人脑子里在想什么呢？不，我们绝不可能拥有关于人类内心想法的合成数据，而理解他人的想法对我们至关重要。我今天和你们坐在这里讨论投资，所以我非常在意你们脑海里的想法。但我怎么可能通过合成数据去获取这种理解？
事实上，你在任何复杂物理现实上都不可能获得真正完备的合成数据。你无法靠合成数据精准复现无人机与真实物理环境的一切交互，无法复现这台机器内部电机面临的真实摩擦力与磨损。真实世界拥有无穷无尽的复杂度，对它的任何计算机仿真都是微不足道的。
所谓大世界假说，其核心定义就在于：真实世界的复杂程度，在量级上远远超越你的心智，超越任何单一智能体。 这在逻辑上是不言自明的，因为真实世界中包含了无数个其他智能体。正因为世界无比复杂，你绝不可能做出任何敢自称是最优或完美的决策。你注定是不完美的，你必须依赖近似算法，而这些近似必然存在巨大的局限。
归根结底，这就是为什么我们必须持续学习。如果你想探寻一个底层原因，那就是：因为我们永远只会遭遇这个宏大世界中某一个极其微小的局部，我们必须不断学习，去调整出适应我们当前所处环境的局部近似，而不是去拟合那些我们根本未曾涉足的世界。
Sonya Huang：明白了。请原谅我再次唱反调，我是为了把问题彻底探讨透彻才故意这么提问的。
Rich Sutton：没关系，质疑是极好的事。
Sonya Huang：我尝试去理解这一点。据我所知，最新一批自动驾驶公司，很多主要是先在仿真模拟器（Simulation）中进行训练，然后再进行某种后训练来确保能在现实世界中工作，事实证明这是一条非常高效落地的技术流水线。
Khurram Javed： 是的，但我认为这里需要追问一个核心问题：为了构建那个高保真仿真器，背后投入了多少工程师的人力？ 难道我们准备断言，世界上唯一值得解决的问题，就是那些我们能雇得起一支庞大工程师团队先去手搓一套仿真器的问题吗？
而且我敢肯定，他们必须经历无数轮痛苦的迭代：工程师做出仿真器，模型在里面训练，随后他们发现存在无法接受的 Sim-to-Real（仿真到真实世界）差距，然后工程师再去手动修补仿真器。这本质上依然是人类在闭环中去修复仿真环境。是人类从现实世界拿到反馈，然后由人类去修补模拟器。我们为什么不能直接把人类从这个环节剔除，让智能体自己去完成这个闭环呢？
Rich Sutton：而且每当自动驾驶车辆真正开上真实马路时，总会有意料之外的极端情况发生。
Sonya Huang：而那正是它们真正需要从自身经验中学习的时刻。所以你们的核心论点是：直接来自真实经验的数据体量，在未来将远远超过人类所能整理、标注和构建的任何数据。
Khurram Javed： 是的。当然，从仿真中学习显然具有巨大的价值，而且存在一种完全正统的做法：智能体应该从自身的经验中自主学习出一个世界模型（World Model）；当世界模型由智能体自主学习构建时，其效果要好得多因为一旦模型有误，智能体可以通过持续学习自己去修正它。
相反，如果是人类去编写仿真器，那么只有当人类意识到哪里出错时，模拟器才会被动更新。所以答案是肯定的规划（Planning）极其重要，智能体确实应该在模拟环境中展开推演和学习，但前提是这个模拟器必须是它们自己构建出来的。
Sonya Huang： 好的。我想转向《苦涩的教训》中的另一个核心论点：剔除人类先验知识。你在文章中写道：为了寻求短期内立竿见影的改进，研究人员总试图利用他们在该领域的人类知识；但从长远来看，唯一真正起决定性作用的，是对计算算力的利用。
如果回顾你的前学生 Dave Silver 打造的 AlphaGo 和 AlphaZero在我看来，AlphaZero 彻底抛弃人类棋谱走向纯自我博弈，正是剔除人类先验的伟大胜利。那个结果当时让你感到惊讶吗？
Rich Sutton： 它当然让我极其高兴，让我感到自己的理念得到了彻底印证。但你要知道，事情原本走向哪一边都有可能。这并不是说因为先验知识确实能带来帮助，先验知识本身没有任何过错。我在《苦涩的教训》一开篇就明确指出了这一点：在原则上，先验知识与通过后天学习获得的知识之间，根本不需要存在任何冲突。
你可以先在系统里放入一些先验，然后再让它开始学习。这两者在底层逻辑上没有任何对立的理由。事实上，它们全都是知识。生命的本质就是获取知识并运用知识。为什么先天与后天突然变成了势不两立的仇敌？先验知识是你已有的积累，后天学习是你进一步的获取，它们理应亲密无间。
但正如我在《苦涩的教训》开头所写的那样，在科研实践中，它们往往演变成了敌人。 在现实中，那些对人类现有知识抱有特殊情结的人，总希望让人类先验成为主宰，因此他们倾向于极力贬低或边缘化后天学习。
现在你对我的印象，肯定觉得我是个狂热推崇学习、极力排斥先验知识的人。但我真正感兴趣的其实是心智。真实的心智形态是：你拥有一些先验知识，然后你获取了更多知识；一旦你获得了新知识，随着你的认知不断加深，这些新知识又转化为了你下一步行动的先验知识。
这两者本该协同运作。我之所以看起来像是一个一味强调学习的人，仅仅是因为全世界其他人都在宣扬我们只需要拥有足够的人类知识就行了，我们根本不需要在线学习。大语言模型的逻辑正是如此：噢，我们打算把人类所有的知识一股脑塞进系统里，而当大语言模型上线运行时，它将不再进行任何学习。 它在和数亿人交谈，它在与世界交互，但它的底层权重绝对是彻底冻结、永不改变的。
所以，我绝对不是奇怪的那个人。奇怪的是你们你们居然觉得这行得通，居然断言可以依靠一个上线后彻底停止学习的模型，来打造出具备人类博士级经验与专业能力的智能体。 所以，奇怪的根本不是我。
Alfred Lin：所以你的建议是，让算法在喂入数据之前，先自主运行更长、更长的时间
Rich Sutton：持续不断地学习。
Alfred Lin：在喂入先验数据之前？或者在运行过程中慢慢渗透先验知识？
Rich Sutton： 两者都重要。但从长远来看，你必须掌握并构建获取新知识的机制，这才是长期演进的决定性力量。在这一过程中，你当然可以利用之前已经积累的部分。
放眼未来，当我们拥有智能机器人时，情况会是怎样？我们会让所有机器人都从零开始学习吗？还是我们会直接复制一个现有的模型，让它在已有的基础上继续学习？既然它们是数字化的，复制起来轻而易举。我们绝不会为了更新机器人，每次都砸下无数亿美元从整个互联网重新训练一遍；我们只需要拷贝现有智能体的权重副本，让它从当前状态继续学习即可。
在某种意义上，最初的先验知识最终都会变得无足轻重，因为你只需要从上一台机器人的学习成果中继承即可。
Alfred Lin：那你能不能为我们描绘一下，一台真正能够从自身经验中学习的机器或计算机，具体应该是什么样子的？
Rich Sutton： 它可以是一个物理机器人的形态，但它也完全可以完全生存在互联网世界里。举个例子，你可以让它去负责互联网网络数据包的动态路由调度，让它以一种对实时传输经验极度敏感的方式运行，随着时间的推移越变越聪明。又或者，它可以作为用户交互界面，比如存在于你的手机或电脑里，在与人的长期交互中不断进化。一个真正智能的个人助理，必须随着时间推移越来越懂你，越来越清楚你真正想要什么。
Sonya Huang：你的意思是，当前基于大语言模型的流行个人助理，根本不属于经验学习者或持续学习者？如果不是，最本质的断层在哪里？
Rich Sutton：你是认真的吗？我的意思是，显而易见它们不是
Sonya Huang：它们会记住关于我的记忆，它们在进行某种上下文学习（In-Context Learning）啊。
Rich Sutton：它们的底层权重永远不会改变。
Sonya Huang：顺便问一下，为了实现这种学习，仅仅改变一小部分权重就足够了，还是说必须让所有权重都具备可变性？
Rich Sutton： 想想构建大语言模型时所付出的全部努力吧所有的结构化抽象、新概念的形成，全部发生在权重的学习过程之中。你必须有能力在系统部署后持续进行这种权重的演进，而不是让它只发生一次就彻底焊死。
Alfred Lin：换句话说，我们现在是在模型发布前做了过度的预训练（Pre-training）和后训练（Post-training），而在发布之后却彻底剥夺了它们继续学习的权利？
Khurram Javed：我们最大的分歧正在于此我们在模型部署后，根本不让它们继续学习了。
Alfred Lin：是的，我们不再让它们学习了。
Khurram Javed： 你想做多少预训练都没问题，后训练也很棒。但当一个用户真正开始使用这个模型时，它就彻底停止了学习。你确实可以往上下文窗口里塞入更多 Token，可以通过给它提供更多上下文来改变模型的内部激活状态；模型也确实学会了如果当前状态包含了新信息，就利用它来预测下一个 Token。但模型本身的底层参数没有发生任何进化。
Sonya Huang：比如代码编辑工具 Cursor 的 Tab 自动补全模型，它确实会根据用户的代码习惯进行更新啊
Alfred Lin：那些模型的权重是会更新的。
Khurram Javed： 那些权重确实会更新。Cursor 的 Tab 补全和 Composer 确实会定期更新，它们算是目前工业界持续学习的雏形。但这种做法其实可以远比现在更高效。
据我所知，他们目前的做法是：成千上万的用户在使用 Tab 补全，系统收集所有这些海量数据，然后利用这一大批聚合数据对底层策略进行一次批处理更新（Batch Update）。在特定场景下这确实可行，但假设我想教会这个模型某项非常特异的私有技能，我并不想和另外 10 万个用户去争夺该给模型灌注什么知识。我只想把我专有的技能教给我自己的模型版本，我根本不在乎这个模型是否吸收了来自别人的通用数据。所以，目前这种依赖离线批处理更新权重的做法，效率是极其低下的。
Sonya Huang：现在的常见认知是：模型在底层权重中掌握通用的基础技能，而个性化则通过 Prompt 和 Context（上下文）来实现。这种心智模型不对吗？难道所有的上下文信息都应该沉淀到权重本身之中吗？
Khurram Javed： 上下文完全可以存在于状态中，这两者并不排斥；但你依然必须具备实时更新权重的能力。
我给你举一个人类神经学领域的极佳案例：当人类遭遇意外导致大脑或感觉器官发生病变时，你可以观察到极其惊人的自适应能力。例如，人类拥有本体感觉（Proprioception），我们体内的感受器会实时感知身体姿态，这是我们能够正常行走的基础。在某些极端病例中，患者完全丧失了本体感觉，导致他们瞬间丧失了行走能力，因为这套感知是他们整个运动控制策略的基石，早已深植在大脑神经回路中。
但在接下来的两三年里，这些患者通过低头看着自己的双脚，利用视觉反馈作为替代信号，竟然重新学会了走路。人类大脑展现出了惊人的神经可塑性（Plasticity）。一套在大脑中固化了 20 年的神经连接，一旦现实物理条件发生变化不再成立，大脑能够彻底更新并打破原有回路。 这正是我们目前的 AI 系统所极度欠缺、但极其关键的核心能力。
Sonya Huang：在人类婴儿或动物的学习机制中，有哪些值得我们借鉴的地方？你们从中汲取了多少灵感？
Rich Sutton： 我们汲取了非常多的灵感。但我们绝不把AI 必须完全模拟婴儿、人类或动物等自然生物系统的行为当成硬性约束。动物学习是一座灵感的宝库，但不应该成为束缚我们的枷锁。
Sonya Huang：为了契合《苦涩的教训》，你认为在当今 AI 系统所缺失的生物学习机制中，我们最应该向生物学习借鉴什么？
Rich Sutton： 我觉得我现在说的可能听起来像个人观点，但其实都是显而易见的常识。显而易见的一点是：没有任何动物是通过监督学习（Supervised Learning）来学会生存的。 因为从来没有任何人给过我们肌肉该如何抽搐的标签样本，而肌肉抽搐正是我们所有行为的物理输出端。
Sonya Huang：可是我们在学校里接受的全部教育，不都是监督学习吗？
Rich Sutton： 不，绝对不是。退一步讲，哪怕学校教育算是，学校学到的东西在我们整个人生所学的知识中也只占极微小的一部分。我们学会用眼睛观察世界、学会直立行走、学会理解物理世界的运行规律，这些根本不是在学校学到的。而且即使在学校里，也从来没有人教过我们每一块肌肉到底该如何微观发力。
Sonya Huang：但我掌握的绝大部分高阶知识和专业技能，确实是通过学校的监督教学获得的啊。
Rich Sutton： 我绝不是说知识在人际之间的传递与继承不重要，那当然极其重要，人类语言也极其关键。但我们到底忽略了什么？真实世界中根本不存在现成的监督学习目标。
比如有人问你：法国的首都是哪里？你知道答案是巴黎。好的，但从来没有人手把手教过我的声带肌肉该如何精确震动来发出巴黎这个音节。你告诉我答案是巴黎，我听到了你的声音，然后我依靠自己的神经系统去协调发声肌肉，自己探索着把巴黎读出来。这根本不是严格意义上的监督学习。况且，学校教育根本不能代表智能的本质。松鼠从来不上学，但松鼠掌握了惊人的生存本领。
Sonya Huang：说不定松鼠也上学呢！
Rich Sutton： 动物根本不是那样学习的。学校教育只是人类几百年前才发明出来的一种极其特殊的形式。它根本不是智能的核心本源。把学校教育当成理解学习机制的主要范例，是一种彻底的本末倒置。
Alfred Lin：我真希望当年你能把这番话告诉我爸妈，他们当年强迫我去学校接受那套死板的体制。
Sonya Huang：但问题在于，松鼠确实极其擅长在树梢间跳跃，可松鼠证明不了复杂的数学定理。如果我想学会证明数学定理，我必须去学校。
Rich Sutton： 是的，松鼠也不会造 DVD 机和 iPod。它们做不到很多事情，但它们能做到许多我们做不到的事情。至于数学定理？是的，松鼠确实不会下国际象棋。
这非常类似于莫拉维克悖论（Moravec’s Paradox）：那些我们人类自以为极其高深、代表高级智慧的东西（比如下棋、做微积分），对计算机而言其实容易得很；反而是那些我们习以为常的基础能力比如在复杂物理世界中移动、带有注意力机制的感知与避障对机器而言却极其困难。
我并不否认监督学习的作用。但我喜欢去审视那些显而易见的事实：从来没有人能通过提供范例来教会我们如何微操肌肉，因为他们根本做不到，我们必须依靠自己的试错去摸索。
Sonya Huang：确实。
Khurram Javed： 而且别人给出的肌肉微操范例大概率是错的，对吧？如果我完全按照 Rich 发音时的嘴型、舌头位置和声带振动方式去读巴黎，我发出来的声音肯定非常怪异。从某种意义上说，无论是 Rich 还是任何其他人，都不知道用我的身体发出正确声音的精确方式，只有我自己的神经系统才能摸索出来。
Sonya Huang：我完全同意，在那些最原始的感觉-运动（Sensory-motor）能力上，特别是在物理世界中的肢体运动，必然依赖于亲身经验的学习。然而，似乎正是更高维度的抽象思维，才造就了人类的卓越与伟大，而这种高阶抽象似乎并不存在于底层感觉-运动的泥潭里。你们所追求的世界模型，能够从底层感觉-运动一直跨越覆盖到顶层高阶抽象吗？
Rich Sutton：是的，这正是我们的宏伟野心。绝对如此。而且顺便提一句，松鼠在很多时候也能展现出极其惊人的抽象能力。
Sonya Huang：松鼠能做出的最厉害的抽象是什么？
Rich Sutton：无论你在喂鸟器周围设置多少复杂的障碍，松鼠总能找到破解的办法偷吃到鸟食。它总能发明出全新的跳跃轨迹、攀爬路线和工具利用方式。
Alfred Lin：它们对运动轨迹的物理计算非常精准。动物对物理世界的直觉理解非常强，完全不需要像人类发射火箭那样进行繁琐的脑力公式推导。
Khurram Javed：比如在从高处跌落时，它们能在毫秒级时间内做出最精确的受身姿态以防止受伤。
Sonya Huang：好的，这确实很有说服力。
Rich Sutton： 我认为这只是一个程度深浅的问题。我一直倾向于认为，其他动物在底层智能上与人类非常接近。过分强调人类的独特性、试图将人类与动物割裂开来，是一种人类中心主义的傲慢。看到两者的共通性才是更明智的视角。我们与动物的区别只是程度上的差异；当然，人类社会、文化和语言赋予了我们巨大的放大优势。
Alfred Lin：我能就这一点深入探讨一下吗？
Rich Sutton：当然，非常好。
Alfred Lin：我想支持一下 Sonya 的观点。我完全相信动物和幼儿是通过经验学习的，并且能靠经验做出惊人的事情。当我儿子两三岁的时候，我看着他完全在没人教的情况下自己学会各种技能，我也觉得不可思议。
但与此同时，正如 Sonya 所言，人类之所以独一无二，在于我们能够飞向太空、制造宇宙飞船。建造火箭绝不是 100% 仅靠经验就能试出来的因为在火箭真正点火升空之前，你必须在大脑中进行高阶的抽象推演，这无法仅靠试错经验获得，因为你之前根本不知道它会不会爆炸。你必须拥有想象力。我们该如何教会一台机器去想象那些以前从未存在过的事物？这正是我们感到困惑并试图追问的核心。
Rich Sutton： 在这一点上，我们与你的看法完全一致。智能体必须具备规划能力，必须拥有想象力。
Alfred Lin：是的。
Khurram Javed： 但我想反问一句：你觉得一千年前的人类，在造出我们今天谈论的所有现代科技之前，他们的大脑智能比我们差吗？如果把一千年前的一个古人带到今天的现代文明环境中，他是否能掌握同样的现代技能并创造价值？
Alfred Lin：哪怕放在过去一万年里，我认为人类大脑的生物结构并没有发生太大的进化。
Rich Sutton：在底层硬件上完全是同一台机器。
Alfred Lin：完全是同一台机器，但我们积累了一万年的庞大知识库。
Khurram Javed：正是如此。
Alfred Lin：而我是通过上学，利用监督学习在短短几年内吸收了这一万年的人类知识，对吧？我以此获取知识的速度，远远快于我自己从头去摸索经验。
Khurram Javed： 你的观点完全正确。所以我们同样希望我们的 AI 系统能够从经验中学习，而它们经验的一部分，正是暴露在人类文明与文化之中，并向人类文化学习。这完全说得通。
但是，让我们来看看当某个人做出一项彻底颠覆范式（Paradigm-shifting）的伟大发现时，究竟发生了什么。大家总喜欢搬出爱因斯坦作为例子，但历史上这样的例子数不胜数。学习机制的演进也是如此。当这些颠覆性的范式转移发生时，往往是某个人在吸纳了前人所有的知识积累之后，基于他自身的独特经验，构建出了全新的抽象概念，并在这些新抽象之上展开推演规划，从而发现了全新的知识体系。
这种自主提炼全新抽象，并基于自建的世界模型展开高阶规划的能力，在当今所有的 AI 系统中是彻底缺失的。这种能力的缺失不仅体现在人类知识的最前沿，在底层的感知-运动流层面也同样存在。
Rich Sutton： 所以我们在原则上并不存在分歧。我们需要构建抽象，以便能够在更高维度进行逻辑推理。你们二位刚才几乎又要滑向我极力反对的那种争论中了即非要争出一个先验知识更重要，还是后天获取知识更重要。你们刚才就是在争这个。你们说：人类必须通过学习获取新知，但我可以通过文化和先验知识直接继承。可这两者本来就不该对立竞争。
Alfred Lin：那么回到范式转移的本质上：我们究竟如何制造出一台能够自主理解何时该发生范式转移的机器？
Khurram Javed： 我认为唯有通过智能体自身的经验。它必须依靠自己的经验，而无法依赖现成的人类知识因为我们假定人类当前还停留在旧范式中，而我们需要的是看待问题的新视角。因此，智能体必须在自身的交互经验中找到某种更优的表征：这种新表征可能泛化能力更强，做出的预测更精准，或者在某些维度上表现更佳。但它必须扎根于自身的经验。
Rich Sutton： 目前在整个 AI 领域，我们尚未看到的一种核心能力，就是自主学习出一个模型，然后基于这个自建模型展开规划（Learn a model, then plan with the model）。
我们目前能搞定某些纯数学定理证明，能做出 AlphaGo，那是因为在棋盘博弈中，游戏规则模型是人类预先给定的，每一步棋的合法走法是确定的；在形式化数学中，逻辑公理和操作算子也是已知的，Lean 证明器会明确告诉你每一步推导是否合法。
但是在现实世界中，智能体必须自己去学习提炼出这个世界模型。在当下的 AI 领域，目前根本不存在任何自主构建抽象模型、并基于该模型展开高阶规划的成功范例。
Khurram Javed： 至少在利用自主发现的抽象概念来建模这一层面上是完全空白的。现在有些人宣称我可以训练模型去预测下一秒或下一毫秒会发生什么，但那根本不是人类心智运作的世界模型。人类的世界模型具有极高维度的抽象性，其运作机理与那些纯像素预测完全不同。
Sonya Huang： 我很欣赏你们的一点是，你们不仅停留在理论层面的高谈阔论或感叹现状，你们是极具行动力的实干家，这也是你们创立 Oak Lab 的原因。让我们来聊聊这家新公司。在 2022 年，Rich，你提出了一份非常详尽的 12 步规划《AI 研究的阿尔伯塔计划》（The Alberta Plan for AI Research）。能为我们介绍一下吗？
Rich Sutton： 《阿尔伯塔计划》的诞生，是因为我们虽然拥有宏观的愿景，但必须将其拆解为一个个可落地的具体模块。这 12 个步骤就是我们将核心难题工程化结晶的尝试。
其中有一个非常关键的早期步骤第二步：持续深度学习（Continual Deep Learning）。我们认为这一步几乎是最核心的基石，因为它能解锁后续的一切。如果你能实现持续深度学习，你就能持续不断地更新你的世界模型。紧接着，如果你掌握了如何进行正确的抽象计划的后半部分全部围绕着如何构建正确的抽象表征展开。
我所说的正确抽象是什么意思？我并不是指由人类预先定义好所谓的正确抽象，因为没有人能替机器决定什么是正确的抽象，那完全取决于智能体所处的具体环境。智能体必须自主学会适应其所在环境的抽象表征。因此，核心支柱就是这两点：智能体必须能够自主发现正确的抽象，并且必须具备持续深度学习的能力。
Khurram Javed： 我认为业内很多人已经意识到我们需要世界模型并基于其展开规划，但抽象决定了模型应该以什么作为预测条件。模型究竟应该预测什么？你采取某个行动后，接下来会发生什么？更重要的是，这些抽象概念从何而来？
我非常喜欢用顶尖职业运动员的例子来说明：如果你去问那些顶级运动员他们是如何做出某些超凡动作的，他们在内部沟通时往往有一套极其怪异、小众的专业黑话来指代某个极精细的发力姿态。有时候如果只是他们自己独自训练，他们甚至连名字都叫不出来。那么，他们究竟是如何在脑海中提炼出这些非语言抽象的？这正是当前 AI 缺失的核心拼图，也是《阿尔伯塔计划》后半部分试图解答的问题。
Sonya Huang： 我们能深入聊聊持续深度学习吗？这在今天究竟是一个纯算法层面的断层，还是仅仅属于工程部署架构或数据隐私层面的阻碍？因为如果我想做某种朴素的、基于用户实时交互来微调权重的尝试，技术上今天也能做，对吧？在你们看来，实现真正的持续深度学习，我们缺失的最关键要素是什么？
Khurram Javed： 这绝对是一个本质上的算法断层。你可以用最朴素的方法去强行更新权重，但你马上会遭遇灾难性的后果。例如，如果你对系统说：我要拿这一个最新的交互样本，去对整个模型的权重做一次梯度更新，你立刻会面临一个致命问题模型过去学到的所有存量知识都会受到极其负面的破坏。
目前工业界绕开这个问题的唯一手段，正是 Cursor 等工具所采用的折中方案：他们不用单一样本，而是积累来自海量用户的大批次（Batch）数据，然后离线做一次批处理更新。在特定工程场景下这确实凑合能用，但在绝大多数更广泛的通用场景中，这种条件根本不存在。在绝大多数真实场景中，你面对的只有单条连续的数据流；如果你直接套用传统的反向传播去更新，它会以极其毁灭性的方式彻底摧毁模型原有的知识储备。
Rich Sutton：这就是所谓的灾难性遗忘（Catastrophic Forgetting）。
Sonya Huang：是的。
Rich Sutton：但这个毛病是完全可以被彻底根治的。前提是你必须拥有正确的算法。
Sonya Huang：解药是什么？
Rich Sutton： 首先，你必须引入我们所说的步长优化（Step-size Optimization）。这意味着神经网络中的每一个权重参数，都必须拥有独立的学习步长。有些权重更新得快，有些权重更新得极慢。你必须通过元学习（Meta-learning）去为每一个权重动态优化这些步长。在你的整个网络中，绝大多数权重的更新步长都会被压得极其微小，因此当你拿一个新样本去训练时，原有的绝大部分知识网络绝不会被轻易破坏，更新只会精准发生在正确的位置。
其次，你必须在特征空间中采用某种形式的生成与测试（Generate and Test）机制。你必须不断自发产生新的特征单元，而不是仅仅沿着梯度方向缓慢爬行因为纯粹依赖梯度下降是一个极其缓慢的过程。只有当你明确知道某个方向有益时，梯度才会引导你前行，这注定极其缓慢，而且无法为你提供持续复杂化、维持长久学习能力的路径。你需要一种能够自主生成大量全新神经元单元并对其进行优胜劣汰的机制。
我可以给出一个具体而确凿的方案：我们在几年前发表在《自然》（Nature）杂志上的一项算法持续反向传播（Continual Backpropagation）。它的运作机制与传统反向传播类似，但核心区别在于：它会在网络运行过程中，源源不断地重新初始化并注入一批带有随机权重的新神经元幼苗。
传统的反向传播算法只在宇宙大爆炸之初（模型初始化阶段）拥有随机性，随着训练的推进，所有的随机性与多样性很快就会被消耗殆尽；而持续反向传播则在生命周期中持续注入微量的随机性，不断进行生成，而反向传播的运算过程则充当测试者去筛选这些新特征。
你需要将这些机制紧密结合起来。如果能将它们完美融合，我相信我们将迎来全新一代、在性能上拥有绝对压倒性优势的持续深度学习系统。这正是我们计划在未来几年内彻底落地的成果。
Sonya Huang：太棒了。你认为这些算法能够直接套用到当前各大实验室扩展 LLM 的主流体系中，去帮助它们在不发生灾难性遗忘的前提下实现持续学习吗？
Khurram Javed： 逻辑上完全可以，但我并不认为你可以直接拿一个现成训练好的大模型说：我现在要用这些新算法来在线更新它。因为这些新算法的核心在于元学习（学会如何去学习）。
因此，你必须从零开始比如我们要从头训练一个新的基座模型，但从第一天起就采用这套新算法进行训练。这套新算法在让模型学习具体世界知识的同时，也在同步训练模型未来如何去学习新知识的元能力。它在同一时刻并行学习这两件事。只有这样构建出来的模型，才能在未来吸收全新知识时彻底免受灾难性遗忘的困扰。
Alfred Lin：这是你们公司目前正在尝试的最激进的突破吗从现有行业范式转向同时并行实现这两件事？
Rich Sutton：最激进的事？
Khurram Javed：我认为这
Sonya Huang：这又回到了那句我没疯，是其他人都疯了。
Khurram Javed： 是的，这其实谈不上有多么离经叛道。在 2016 到 2018 年期间，学术界有很多人在深入探索这些想法。但他们当时是在一个非常狭窄、受限的设定下去做的他们假定存在一个特定的问题分布，然后在这个极其具体的场景下去做元学习；而我们要做的，是从单条连续的真实经验流中去实现通用元学习。我们的方法应该具备更普遍的适用性。很多人曾经涉足过这个方向，但从未有人在通用的全局设定下彻底走通它，并打造出适用于一切场景的普适算法。
Alfred Lin：那么，你们的新公司目前正在做的、其他所有人都没有在做的最具野心的事情究竟是什么？
Rich Sutton： 最具雄心壮志的事情是什么？请记住，我可不认为自己古怪，所以我不想用激进这个词。
Alfred Lin：好吧，那你们最具雄心壮志的目标是什么？
Rich Sutton： 我认为最具雄心的目标，是尝试去掌握涵盖从极其微观的细节到宏观战略全局的全光谱知识（Full Spectrum of Knowledge）。
比如去理解人类如何乘坐飞机从一座城市飞往另一座城市。这是一个非常宏大的长程概念这就像你刚才提到的航天飞行的例子，但坐飞机对普通人来说更贴近常识，因为我们很多人都坐过飞机，我们在日常生活中无时无刻不在使用各种各样的抽象思维，甚至连松鼠也无时无刻不在运用抽象。
我们要做的，是以一种统一的架构去处理从微观肌肉反射到宏观航线规划的全光谱知识，并让这套系统具备自我维持与自洽性（Self-maintaining）。
在传统的知识库系统中，最核心的难题永远是：究竟靠什么来确保系统内部知识的长期正确性？对于当今的大语言模型而言，维持正确性的手段是：人类工程师在前期进行了大量的后训练（Post-training），在确保其大致正确后，便将模型权重彻底冻结。这就是它们保持不犯浑的方式。
但是在我们人类的心智中，我们的认知每时每刻都在发生变化，然而某种内在机制始终保持着大脑的井然有序与逻辑自洽，使我们能始终收敛在清醒合理的认知基准上，而不至于滑向精神错乱。构建一个具有完全自洽性、能够不断自我训练并始终保持认知协调的通用心智我认为这正是我们最宏伟的野心。
Sonya Huang：我很喜欢这个构想。但我能追问一句吗？这听起来是一个极其宏大且近乎不可思议的愿景，将所有这些能力全部统一进单一的心智之中，野心实在太庞大了。
Rich Sutton： 它其实已经触手可及了。我认为它完全在人类的射程之内。现在已经是 2026 年了，我们的计算机算力如此强大。它真的宏大到遥不可及吗？还是说，我们其实已经清晰洞察到了完成每一个步骤的具体技术线索？我认为我们已经拥有了清晰的愿景和扎实的线索。我不觉得这个目标有任何不切实际之处。
Alfred Lin：你们的愿景包括打造一个功耗仅为 20 瓦的万亿参数模型。这听起来确实雄心勃勃得有些吓人。
Khurram Javed： 这确实极具雄心。在某种意义上，如果仅凭当下的硬件技术，这甚至是完全不可能的。单单是将一万亿个参数常驻在内存中，以现有的内存芯片技术，所消耗的静态能耗就已经远远超过 20 瓦了。
但是我们真正着眼的是未来的技术演进计算正在变得越来越廉价，能效比正在呈指数级提升。那么在未来 5 到 10 年内，硬件会演进到什么地步？我认为在 5 到 10 年后，只要配合正确的算法架构，我们完全能够步入一个让 20 瓦运行万亿参数心智成为现实的世界。
Rich Sutton： 5 到 10 年的时间跨度，意味着摩尔定律能够带来两个数量级的能效提升，这是标准的技术进步轨迹。如果算力能效每 18 个月翻一番，10 年就会带来 100 倍的飞跃。因此，要让 Khurram 的预言在未来成立，我们今天只需要证明能在 2,000 瓦的功耗下跑通它即可20 瓦乘以两个数量级就是 2,000 瓦。如果你今天能用 2,000 瓦做到，那么 10 年后你自然就能用 20 瓦做到。
Alfred Lin：你觉得你们今天能用 2,000 瓦做到吗？各大前沿实验室的研究人员手头掌握的算力资源可远远不止 2,000 瓦。
Khurram Javed：我相信只要配合正确的算法，我们即便在今天也能做到比 2,000 瓦更高效。
Sonya Huang：如果我们现在就能做到如此高效，那为什么行业里没人这么做呢？各大公司总不至于就是纯粹想把投资人和自己的钱白白烧光吧？
Rich Sutton： 有时候看起来他们确实挺想把钱烧光的，不是吗？我觉得耗费海量能源大概是某些大厂展示自己肌肉强悍的雄性竞争方式吧。
Khurram Javed： 至少当我观察各大主流研究团队时，我发现根本没有人真正相信这在技术上是可行的。我认为，如果你打心底里不相信一件事能做成，你就根本不可能去着手攻克相关的技术难关并一路死磕到底。
Alfred Lin：这究竟是因为在技术上被认为不可能，还是因为整个体系中存在太多的资源浪费？到底是哪一个？现在是否有顶尖人才知道如何高效地实现它？
Khurram Javed：是的。
Alfred Lin：然后同一家实验室里有 10 倍于他们的人在做着各种其他冗余的事情，所以十分之九的人都在浪费
Khurram Javed： 在某种程度上，我认为整个行业目前被困在了一个局部最优解（Local Minima）之中。
如果我们想要转向这种全新的算法架构，事情在变得更好之前，几乎必然会先经历一段性能倒退的阵痛期。当我们开辟这些全新技术方向时，你不可能在第一天就跑出超越现有 SOTA（业界最优）的基准跑分，因为这是一套完全不同的新范式。但这条路径最终能够以极高的能效比达到甚至超越现有的智能水平。
然而，那些头部大模型实验室目前被自身的商业化产品严重绑架了，他们根本不可能去承担一条在迎来突破前必须先承受性能倒退的技术路线。
Alfred Lin：因为他们现有的范式能够让他们通过继续堆算力来维持线性增长，而面对这种新范式，他们必须进行一场前途未卜的巨大豪赌，并且他们
Khurram Javed： 并且他们必须去攻克一系列极其困难的底层技术硬伤。这些技术难题是我们深入思考了许多年的，我们也结识了一批在这个方向上深耕多年的顶尖学者。当我和他们深入探讨时，大家都清楚这在工程和理论上完全行得通，但你必须在这个问题上沉下心长年累月地思考。
Alfred Lin：如果 Oak Lab 的一切规划都进展顺利，最终会发生什么？你们究竟在打造一家怎样的公司？
Rich Sutton： 如果一切顺利，我们将彻底实现这套全新架构我们将拥有真正的持续学习能力，智能体能够自主形成高阶抽象，从而进行自主规划与深度推理。我们将真正打造出真正的智能（True Intelligence）。
到了那个时候，世界具体会变成怎样，甚至超出了我们现在的想象力边界。但我认为
Alfred Lin：人类会变得无足轻重吗？
Rich Sutton：我绝对不认为人类会变得无关紧要。
Alfred Lin：我们也不这么认为。
Rich Sutton： 我认为对人类而言，未来的世界将会变得前所未有的令人兴奋、前所未有的精彩纷呈。
但特别需要指出的是，我认为大语言模型（LLM）届时可能会面临巨大的生存危机。当真正的持续学习心智诞生时，LLM 可能会被彻底颠覆。当然，大语言模型已经经历了极其辉煌的发展阶段，它们取得了空前的商业与工程成功。
请允许我明确澄清一点：大语言模型是一项极其惊艳的科学突破，是神经网络在精妙驾驭人类语言领域所取得的里程碑式的飞跃。 这在过去是完全不可预料的。在历史上，语言一直被视为符号主义 AI 最后的绝对领地，而大模型彻底颠覆了人类对语言处理的认知。这无疑是一个巨大的突破。
但让我感到有些沮丧的是大家为什么不能在庆祝人类在 AI 的某一个子领域取得伟大进展的同时，保持清醒客观呢？为什么非要把语言层面的突破伪装成这就是人工智能的全部？智能的全部奥秘，绝不仅仅是能够流畅、熟练地使用语言。语言只是智能极其重要的一部分，它大概只占整体智能的 20% 到四分之一左右。 智能的版图远不止于此，我们的探索还远远没有结束。
Sonya Huang： 是的。如果一切进展顺利，在你的构想中，未来是会存在一个能够搞定一切的超级单一心智从在树枝间荡秋千，到建造宇宙飞船，全都能由这一个单一心智搞定？它是一套统一的权重，还是
Rich Sutton：它是一套统一的设计架构（A Single Design）。未来会存在许许多多不同的心智。
Sonya Huang：明白了，它是一套通用的底层设计架构，能够对不同的环境做出自适应响应。
Khurram Javed： 而且这套心智的不同实例，会因为各自经历的交互经验不同，而学习掌握截然不同的知识体系。
这又回到了我们前面提到的大世界假说真实世界中有无穷无尽的知识等待探索，单一系统不可能穷尽所有的知识。正如 Rich 刚才所说，如果你把世界上最庞大的两个超级系统放在一起，显而易见它们无法完全对彼此进行完备建模，因为它们在复杂度上是完全对等的。因此，世界上永远不可能存在一个能够通晓万事万物的单一全知系统。未来必定是由无数个依靠自身独特经验不断学习演进的智能系统共同组成的生态。
Alfred Lin：你们团队现在在招人吗？你们正在寻找什么样的人才？
Khurram Javed： 我们正在招人。关于最初的核心团队，绝大部分人选其实已经在我们的脑海中了。他们都是过去多年来一直在深思这些前沿理念的同行者。
我们打算采取一种截然不同的团队搭建方式，因为这是一套全新的范式。在现阶段迅速把团队规模盲目扩大是没有意义的，因为我们招募的每一个人，都必须能够真正深刻理解并看清我们所看到的愿景。并不是所有人都能看懂这一点。所以我们会从小规模起步，慢慢扩展到三五个人，然后再稳步向前推进。
Rich Sutton：我们需要团队成员在理念认知上保持高度的绝对同频（Super Aligned）。
Khurram Javed：是的，高度同频。
Rich Sutton：唯有这样，我们才能在一起高效协作，并实现科研进展的规模化突破。
Sonya Huang：非常赞同。
Alfred Lin：太酷了。
Sonya Huang：这真是一场精彩绝伦的对话。非常感谢你们抽出宝贵时间来分享你们正在探索的宏大事业。你们在强化学习和算法根本演进方向上的思考之深令人赞叹，今天能与你们共同探讨是我们的巨大荣幸。再次感谢二位！
Rich Sutton：非常感谢你们。
Khurram Javed：感谢邀请我们。
Alfred Lin：这是我们的荣幸。