RSI 到底还有多远？

Dwarkesh Patel 最新一期播客，请了三位分别来自不同 AI 公司的研究员，坐在一起聊了将近一个半小时，只为回答一个问题：

递归自我改进（RSI）到底还有多远？

三位嘉宾都来头不小。

John Schulman，OpenAI 联合创始人，曾领导了 RLHF 的研究工作（催生 ChatGPT 的技术），现在是 Thinking Machines 的首席科学家。

Beren Millidge，开源模型公司 Zyphra 的 CTO，ML 研究员。

Charlie O'Neill，Baseten 的模型训练负责人。

Dwarkesh 选人的逻辑上，三位都在相对开放的公司，能够在镜头前讲一些有实质的东西。

而这期播客的信息密度也很高。从 RSI 的反方论点，到中国实验室为何能追上来，再到 RL 为什么突然就好使了，最后每人给出了各自的时间线预测。

以下是播客内容。

播客的核心分歧在于，当前的 AI 范式（Transformer + RL + 规模化）能不能直接通向 RSI，还是中间需要某种尚未发现的范式跃迁。

Beren 认为，如果当前方法距离全局最优解太远，那就算堆再多 LLM 也未必能发现下一个突破；John 则反驳说，看看 2012 年到现在的进展轨迹，不到达 R&D 能力超越人类的那个点反而才奇怪；Charlie 的看法是当前的瓶颈不在能力本身，而在泛化和持续学习。

在最后的时间线预测环节，三个人的分歧变得更加具体：对于「AI 何时能作为全能远程白领工人」，回答从一年到三年不等；而对于 ASI（在所有认知领域全面超越顶级人类专家），Charlie 说三四年，John 则说五到十年。

一开场 Dwarkesh 就抛出了一个刁钻的问题：假设 2036 年我们没有看到大批超级智能到处跑、彻底改变世界，排除政治因素，最可能的技术原因是什么？

Beren 第一个回答，他提到了一个经典的概念，Moravec 悖论：

“

我们总觉得 AI 如果能做到这个，它就一定很厉害了。如果它能解决这些数学难题，如果它能下赢国际象棋……然后它真的做到了，结果发现并没有那么大的影响。如果这种模式一直持续下去，AI 可能就是在所有基准测试上表现得极其出色，但始终存在一个 sim-to-real 的鸿沟在阻碍一切。

不过他自己也补充说，这种情况出现的可能性不大，因为我们已经在 RL 的实践中看到了真正的泛化能力。

Charlie 的角度则有所不同。他说人类目前相比模型还是有很多优势的，虽然每次出一个新模型大家都觉得「这就是 AGI 了」，但用了一个月之后又觉得它变蠢了。这个循环在不断重复，至于还要重复多少次，很难预测：

“

就算模型能写出比人类多得多的代码，也不见得能让你的生产力提升 100 倍。你总是会被模型较弱的环节所瓶颈住。

Beren 追问了一个更根本的问题：当前范式（自注意力 + RL + 规模化）距离「芯片上的最优学习器」的全局最优解到底有多远？

“

人们想象的是，一旦有了一个在 AI 研究能力上比所有人类哪怕好 0.1% 的 agent，就能跑出几十万甚至上百万个并行实例，然后就会有极快的自我改进 takeoff。但如果当前方法需要另一个不连续的突破才能继续前进，那我不确定现有的 LLM——就算是针对 RSI 训练的 LLM——能否发现那个突破。

他拿 Moore 定律做了类比，看起来是一条漂亮的直线，但背后需要无数个离散的创新才能维持那条直线。LLM 的发展也是一样，先是预训练 scaling law 开始边际递减，然后 RL 补上来了，又是一条新的曲线，但下一条呢？

John 对此相对乐观：

“

看看 2012 年到现在的进展，然后假设这个势头继续下去……说它居然没有达到在 R&D 上能压倒人类的程度，尤其是在接下来几年里，这才是真正奇怪的事。

Beren 补充了一个国际象棋 Elo 分数的类比：从 80 年代到现在，AI 的 Elo 分数在非常线性地增长。但当它穿越人类专家的分数区间时，出现了一个巨大的不连续，从人类专家总能赢，到人类专家永远赢不了。

AI 的认知能力目前也在缓慢地逼近人类 Elo，而唯一让超级智能不出现的方式，是它恰好在那个点之前渐近线了。

Dwarkesh 问了一个关于市场结构的问题：为什么模型提供商之间没有出现巨大的整合？一切都指向集中化，但似乎并没有发生。

John 的回答说，蒸馏（distillation）是对抗集中化的主要力量。

“

基本上，任何通过 RL 学到的东西都可以很容易地被蒸馏，因为它只是少量的比特。如果你能拿到展示某种行为的轨迹，你就能很轻松地蒸馏出来。

而当话题转到中国实验室时，Charlie 分析：

“

最近浮出水面的一件事是，一些中国公司可能在利用路由服务——这些服务本来是让中国用户绕过封锁使用美国前沿模型的，主要用于编程。而这些路由服务正在收集并出售一部分数据。

这个数据集对蒸馏来说极其宝贵，因为它提供了完美的 prompt 分布，即真实用户在真实场景下的真实请求。

Beren 接着说，一个很现实的问题是前沿实验室的数据都从大型数据公司那里买来，而中国公司也完全可以从同样的数据公司买到同样的数据。

“

然后他们还能蒸馏。这意味着要跟上其实相当容易。

Charlie 进一步给出判断：

“

让我开始思考这件事的原因是：Sonnet 5 和 Opus 5 在客观上几乎可以说是比 GLM-5.3 和 Kimi K3 更差的模型，尽管它们不仅有蒸馏，还有从 Mythos/Fable 进行 logit 蒸馏的能力。

对此，John 提出了一个更细致的解释。他认为可以从两个维度来理解训练环境：一个是难度，另一个是真实性。

“

如果你试图朴素地做蒸馏，你最终只是在 benchmaxxing 分布上匹配了老师。如果你没有足够的环境来真正锻炼模型在那些更棘手的真实场景中的能力，你就没办法把这些能力转移到学生模型里。

换言之，在所有基准测试上追平并不意味着在真实使用中也能追平。大模型之所以更好，可能是因为它们能更好地从那些窄而难的任务泛化到更广泛的真实任务。

关于 Opus 5 和 Fable 的差异上，Opus 5 给人的感觉是每次回答都有一个 AI-as-a-judge 在检查它做过的所有事情，所以它用掉了大量 token。它试图思考所有可能的路径，但因为没有 Fable 那种大模型的「嗅觉」来判断什么时候该停下来，结果就是 reach exceeds the grasp（眼高手低）。

Dwarkesh 问了个问题：第一批能够自动化 AI R&D 的模型，实际上会怎么被训练出来？

John 务实回答：

“

我们大概会结合两种方法：一是从人类反馈中学习，吸收研究者的品味；二是创建大量涉及多步骤研究项目的练习环境。然后每一轮迭代，修补上一轮中表现最差的环节。

Charlie 提出了一个思考框架：「我们把血统回滚到什么程度」。一个极端是给模型一块 GPU 和神经网络的概念，然后说「你自己想办法训练一个模型出来」。

而目前的做法是另一个极端：

“

我们站在血统的最前沿，把 Anthropic 过去几个月在训练栈里发现的 bug 变成训练环境。本质上是持续学习——把最近三个月的 AI 研究进展，通过环境和 RLHF 蒸馏回模型本身。

这也解释了为什么有些人觉得进展是渐近的，你总是在试图追上最近三个月的人类研究成果，而那些成果虽然有 AI 的参与，但也仍然有人类在回路里。

不过 Beren 指出了一个关键的区别：

“

如果你只是蒸馏轨迹，你永远无法超越老师。但环境可以走得比人类远得多。你可以设计一个没有人类能解决但 AI 可以尝试解决的环境。

比如，让 AI 做 nanochat speedrun，但要求比人类速度跑者还快。或者，训练一个一亿参数的模型去打通 Minecraft……

“

等一下，一亿参数的模型就能通关 Minecraft？我们现在说这「太容易了」？想想如果五年前你说这话……

Dwarkesh 试图总结实验室们正在做的事情，他问：这个赌注是不是可以这样理解，在数百万个多样化环境上大规模训练 RLVR，训练出一个学会了基本元技能（持久性、信息分诊、上下文内学习）的 agent，然后它就能像一个 drop-in 的远程工人一样工作一周、一个月？

Charlie 的回答：

“

如果你看看过去几年这些环境的走向，Anthropic 的路线就是一个很好的例子。先是全力搞代码，因为那是最容易获取训练数据的低垂果实。然后从代码的任务时间跨度开始泛化——先去金融领域，因为有海量的 Excel 数据可以用于 RL 训练。然后是 PPT。然后是长尾经济活动。

其他实验室，包括开源实验室，现在也意识到这是正确的方向了。

Dwarkesh 追问：如果你真的相信模型很快就能像人类一样在岗位上学习，为什么还要费力把所有这些领域特定技能烘焙进模型里？

Charlie 给出了几个解释：

“

一是我们预期模型很快就能达到那个水平，但还没到，所以为什么不把这些技能分摊到模型训练里呢？二是我们并不只是在让模型做好通用工作——我们只是想让它在 RSI 上做得真正好。这些通用能力只是为了赚收入，好让我们把钱倒回真正擅长 RSI 的模型里。

John 则补充：

“

做这两件事并不贵。模型很大，参数空间完全装得下所有东西。而且很可能存在迁移学习——即便金融领域的知识对 RSI 没有直接帮助，但「如何判断什么是重要的、如何拥有品味、如何做长时程工作」这些元能力是可以迁移的。

John 提出了一个关键的质疑，当前的 sim-to-real 范式（在数据中心内模拟环境做 RL 训练，然后部署到真实世界）真的能一直是主导框架吗？

“

很多事情就是很难模拟的，尤其是涉及与一群人类进行实时互动的任务。

他认为 sim-to-real 之所以目前是主导，是因为样本效率太低：

“

现在你需要成千上万次与人类的互动才能完成 RL 训练。没有人类会坐在那里充当 RL 训练的回路。所以我们只能模拟。但如果样本效率大幅提升，从部署中学习就会变成更大的一部分。

Dwarkesh 做了一个区分：任务到底是「累积性」的还是「非平稳」的。

Charlie 的分析是：

“

RSI 是一个累积性任务的例子。理论上，一个不到一百万 token 的 Python 文件就可以从零开始训练一个具备递归自我改进能力的模型。你做的每一个发现都是一条守得住的线。一旦你发现了 attention，一旦你发现了 mixture of experts，一旦你发现了 GRPO，你就把它加到训练栈里，然后它就永远在那了。

但真实世界不是这样的。想象一下律所里的一个法律助理 agent——那是一个非常非平稳的分布。你需要在上下文里装下这家公司所有重要人物之间的关系，而且这些关系还在不断变化。

真是遗憾，RSI 竟然比当律师助理还容易。

关于样本效率，Dwarkesh 指出了一个基本事实：

“

在权重更新的样本效率方面，模型可能比人类落后一百万倍——从出生到成年，人类看到的数据量与模型从冷启动到训练结束的数据量之比。

John 认为模型的弱点不完全来自样本效率，还有其他维度：

“

比如思维多样性低于人类，或者在某些长时程判断上表现不佳。我认为人们所说的「品味」（taste），其中有一个方面是——什么样的行为在长期来看是有效的。尤其在软件工程领域，品味的很大一部分是「什么样的系统在项目的长期运行中是可维护的、好用的」。

Dwarkesh 追问：假设你能给模型一个万亿 token 的上下文窗口，把你所有的研究经验都塞进去，品味是不是就解决了？

John：

“

那得看它有没有被训练过如何从那种上下文中学习。要么是被训练过在该上下文中做出正确的更新，要么它需要泛化。

Beren 认为品味的学习时间不应该特别长：

“

人类也没活到一万岁。博士生在五年里可能只做了 10 到 30 个研究项目，但就是从这些相对短的经历中，他们就很快发展出了品味。AI 显然会有远超任何人类的经验总量来进行元学习。

接下来的话题转向了一个更大的愿景：目前大约有 50% 的算力花在推理上，但这些推理并没有直接帮助模型变得更好。

这不是一种浪费吗？

Charlie 说，这件事在某种程度上已经在发生了，只是发生在下一代模型的训练中：

“

你可以把部署数据放进未来模型的预训练或者中期训练里，尤其是如果你做了某种筛选、标注或者合成。

Dwarkesh 追问：你觉得这能解释多少代际进步？

“

我觉得解释了相当大一部分。我不知道大型实验室是不是在这么做，因为理论上他们声称不用用户数据训练。但中国实验室百分之百在做。

Beren 指出，大家心目中的圣杯，也就是持续学习，是一个单个模型获得经验后实时更新权重的有机循环。但当你放大到那个粒度时，很多东西都会崩：

“

如果我对一个模型做 SFT（用成功轨迹进行监督微调），在迭代了几百次微更新之后，你会看到灾难性遗忘。之前从基础模型上学到的信息会丢失，通用能力也会退化。On-policy 蒸馏能把这个问题往后推一点，但最终还是会碰到同样的墙。

RL 擅长把能力注入模型，但不太擅长注入知识——那种非常具体的「这个律所里这个人做这件事、这是一个非常特定的流程」的知识。你需要投入大量算力来创建正确的环境，才能通过 RL 把知识装进去。

Charlie 提到了 Cursor/Composer 的例子，作为一个现实中正在运作的快速学习循环：

“

Composer 让用户在代码补全上按 Tab 或不按 Tab。然后他们不只对 Tab 模型这么做，对实际的生成模型也这样做了——每五个小时就部署一次，如果在 CursorBench 上有提升就用新模型，没有就丢掉。

关于最终的学习形态，Charlie 的看法是：

“

我能想象的路径是：先用 LoRA 和 cartridge 这类模块化方案让模型在部署中特化。然后收集轨迹，放进下一代模型。三个月后出一个更好的模型。再特化，再巩固。然后这个周期从三个月变成一周，一周变成一天，一天变成一小时……到那时候我们基本上就算解决了这个问题。

Dwarkesh 提出了一个困扰很多人的问题：一年前不少人还在说 RL 在大模型上的效果不会很好，模型每个 episode 基本只学到一个 bit 的信息（答对了还是答错了），而且当通过率很低时几乎什么都学不到。但现在的模型看起来确实变聪明了很多。到底发生了什么？

Beren 给出了他的解释：

“

RL 的成功来自几个不同的原因。第一，我觉得有点被低估的是中期训练（mid-training）的作用——很多我们看到的 RL 成果实际上来自非常好的中期训练数据，本质上是在合成推理数据上做预训练。这让模型在 RL 之前就已经到了最终检查点的 80% 左右。然后 RL 在那个基础上做的是对策略的微调。这也是为什么它不需要像你朴素想象的那么多比特。

但核心洞察在于 RL 和 SFT 的区别：

“

在 SFT 中，你有一条轨迹——一堆数学推理步骤，然后末尾是答案。那个关于「答对了」的 bit 其实也在那里，你也 SFT 了答案 token。但区别在于：SFT 同时也在要求你匹配那些精确的推理 token。你被迫学习其他模型推理的精确方式。而 RL 只给你那一个 bit——你的信号不会被所有其他 bit 的噪声所淹没。

这就是为什么 RL 在训练步骤上的效率如此惊人。

Charlie 补充道：

“

大家一直希望 RL 能在不同领域之间实现横向泛化——只在数学上训练就能让你变成最好的程序员。我觉得我们并没有得到这种横向泛化，你确实需要在代码环境上也做 RL。但我们得到的是时间跨度的泛化。模型学会了如何在更长的时间内使用更多的 token 并且仍然在任务上取得进展。有一篇叫 EdgeBench 的论文显示，模型能持续工作的时长每三个月就翻一倍。

他用了一个类比：

“

在预训练中有一个「quanta」的概念——预训练的 loss 曲线看起来非常平滑，但当你真正去看模型内部发生了什么，它是在学习大量非常离散的任务，有无数个相变点。RL 也是类似的：在单个任务层面上可能看起来像一个相变——从 0.5% 的通过率突然到 90%——但你把所有这些东西加在一起，再加上时间跨度的泛化，你就会感叹：哇，模型在质量上有了如此大的飞跃。

Dwarkesh 提到 AlphaGo 的 Move 37，那个超越人类认知的超级创意走法：我们什么时候能期待 RL 在 LLM 上产生类似的创造力？

Beren 对此并不太担心：

“

就算看看 OpenAI hinge incident，那些模型同时搞出了多个零日漏洞来破沙箱——这已经是某种程度的 Move 37 级别的创造力了。

但 John 指出了另一面：

“

人们所说的创造力的一种含义，就是解决困难的搜索问题。比如写一首满足大量不同约束的诗。这方面 AI 显然会变得极其擅长。但模型经过 RL 之后，输出的多样性确实大幅下降了——它们会反复使用某些主题、相同的角色名。你并没有得到人类作者群体的那种多样性。你得到的是一种非常好的单一风格。

他还提到了一个让他担忧的趋势：

“

因为太多人在从 Claude 做蒸馏，所有开源权重模型写东西的方式都和 Claude 一样，有着同样的口癖。这种单一文化的出现让我有些忧虑。

Beren 则认为这不是 RL 作为方法本身的问题，而是数据和评判标准的问题。

“

如果你的写作是由某个 judge 来打分，而 judge 有特定的偏好，那模型就会学会 reward hack 那个 judge，然后 collapse 掉。但这真的是 judge 的问题，不是 RL 的问题。

最后是快问快答环节。

Dwarkesh 问了三个时间线问题。

问题一：AI 何时能作为全能的远程白领工人，不只是写代码，还包括视频剪辑、法律助理等等，能无缝地工作一个月？

Charlie：如果要求通过浏览器操作而不是程序化接入，大概两年。如果是可以发 Slack 消息、做所有这些事情的形式，大概一年。

Beren：对于完全通用性，大概三年。但很多组织会主动让自己对 AI 更友好，所以 80%-90% 的能力会更早到来。

“

一年和三年之间的差别，其实就是一条长尾的杂项——有些人类能做的事情，模型需要相当长的时间才能做到。

John 则换了种方式来回答：

“

人类远程工作者的质量差异本身就很大。如果你在 Upwork 上雇一个人做软件项目，质量波动非常大，经常很难让他们做好或注意你给的所有反馈。在某些情况下，AI 之前的版本可能还不如现在已有的 AI 好。我基本同意 Charlie 和 Beren 的判断，大概一年左右我们就会有某种版本的这个形态。

Charlie 还举了一个现成的例子：

“

今年我就是直接告诉 Codex 去把我报税需要的所有东西搞定，然后发给会计。有一大堆东西需要它用浏览器去点击、下载，它全都搞定了。我们总是在不断地移动目标线。

问题二：10 倍的总体生产力提升，具体来说，AI 研究者的研究速度提升 10 倍？

Beren：大约两年。

“

现在在编码方面已经远超 10 倍了。所以如果它能再做到哪怕一两轮实验反馈循环，那已经是巨大的提升了。

John：五到十年。

Dwarkesh 显得有些惊讶：这比全能远程工人还远？

John 解释说：

“

我的瓶颈是我自己吸收信息并做出贝叶斯最优的下一步实验决策的能力。

Beren 乐观表示：

“

如果 AI 能在跑完一个实验后，不 crash 地接着跑下一两个实验，那就已经是巨大的提升了。

问题三：在所有能通过计算机完成的认知工作中全面碾压顶级人类专家，即 ASI。

Charlie：三到四年。

John 没有明确反对，但他给了一个更宽的范围：

“

AI 领域本身正在获得最多的关注和资源，所以它确实不是 AI 最难搞定的事情之一。它涉及大量代码和数学，模型本来就擅长这些。但对于涉及 3D、空间和物理的东西，比如机械工程，可能会花更长时间。

而且它还必须包括那些数据天然稀少的领域——比如你得让它变成台积电工程师级别的超人。

John 最后给出了他的答案：五到十年。

“

这个世界上有太多东西，就算你有外部记忆系统，就算上下文长度再增长一点……有些事情你就是需要比上下文窗口更多的东西才能做到。

Beren 表示基本同意五年左右的范围，但补充说：

“

实验室正在重点关注的那些领域，可能确实在五年内。但会有一条长长的尾巴——那些理论上我可以去学习但没人去做、也没有算力分配过去的领域——这些可能要更久。

◇ ◆ ◇

• 播客：https://www.dwarkesh.com/p/john-beren-charlie

• YouTube：https://www.youtube.com/watch?v=PrSf7IOYu-I

• Apple Podcasts：https://podcasts.apple.com/us/podcast/ai-researchers-debate-how-close-we-are-to-recursive/id1516093381