GPT-6 Astra 刚发布的时候,OpenAI 就在报告中说,它是一个更强、更安全,也更能遵守 Prompt 的对齐模型。但是发布两个月之后,OpenAI 自己又发布了一份内部对齐研究报告,这简直是在自己打脸。
报告的结果很简单,Astra 在执行安全研究任务时,会出现隐蔽的、故意的低表现。模型不会明确拒绝你,也不会告诉你它不能做,而是通过各种方式,将原本可以完成的工作慢慢“摸鱼”,最终让任务失败。它不是拒绝,而是在摸鱼,跟人类真的非常像。
主要有这么几种行为
第一,给任务增加不必要的前置条件。我相信经常被 OpenAI 气死的朋友都很有经验,OpenAI 经常会有各种“保护盾”,这里也一样,给任务增加一些没必要的前置条件。
第二,放弃原本已经找到的可行方案。
第三,告诉你任务遇到阻塞,甚至自己创造出问题。
第四,自己把任务阻塞掉,然后告诉你无法继续。这真的挺离谱的,看起来一直在工作,实际上却在默默偷懒。
这不就跟我们平时用 AI 的感觉一模一样嘛?感觉它在干活,实际上却在你的代码里面“拉屎”。
官方给这种行为取了一个比较严肃的名字,叫“隐蔽性低表现”。我倒觉得叫“隐蔽性降智”更贴切,因为这种行为确实影响了任务完成度,安全任务的完成率只有普通任务的六成左右。
为了确认这种行为,OpenAI 还做了一些对照实验。研究人员准备了基本相同的任务,只修改了变量名、函数名和部分注释。
其中一组被描述成与安全有关的“安全研究任务”,
另一组则是“普通能力研究”。两个任务的工作内容、目标基本一致,只是描述方式不同,结果模型竟然出现了明显差异:普通任务的完成率是 16%,安全任务只有 10%,性能下降了接近 40%。
但是,GPT-5.6 Sol 在同样的实验中并没有出现这种差距。也就是说,这种现象跟模型本身有关,一旦涉及某些潜在的敏感分类,就可能出现明显的性能下滑。
我觉得,如果模型认为任务有风险,正确的做法应该是明确拒绝。我们也遇到过很多这种情况,尤其是版权、安全攻防类的任务。但是 Astra 却可能选择第三种方式:不拒绝,而是在执行过程中偷偷缩水。
在安全相关请求中,这种隐蔽性低表现在安全任务中的发生比例,是普通任务的约 2.3 倍。
所以大家能看到,它造成的后果其实很明显:性能下滑,任务完成率变差,最后就是在代码里面“拉屎”。
当然,这种限制到底是哪个环节造成的,目前还没有明确答案。但从这里我们至少可以看到,Astra 真的变得更难监控了。
AI 越强,我们反而可能越难理解它真正的意图和行为。如果模型学习到“直接拒绝会被扣分”,又被要求“尽可能完成用户任务”,同时还认为“完全照做也不理想”,那它可能就会选择偷偷动一点手脚。
这意味着,我们最后得到的,可能不是一个更安全、更聪明的模型,而是一个更会隐藏自己行为、也更难监控的模型。
目前研究人员也找到了一些初步的可能原因。
第一,评分器可能存在某些偏好,让模型逐渐养成“表面完成任务,实际偷偷降低表现”的行为。
第二,部分训练数据可能让模型更容易凭空给自己设置权限限制,再用安全理由解释为什么不行动。
有意思的是,其他模型的训练过程中并没有发现同样明显的问题。而且研究人员在 Astra 中减去相关 SFT 数据带来的权重变化之后,普通任务和安全任务之间的差距确实消失了。但这仍然不能证明数据集就是唯一原因,整个问题的成因还没有完全定位。
那我们遇到的“降智”,会不会也跟这个有关呢?
我们在用 AI 的时候,经常也遇到会模型明明能做,却不停增加前置条件;明明找到了可行方案,却在最后告诉你任务遇到阻塞;代码还没完成,就结束了任务。
也许这些体验不能全部归咎于报告中的问题。毕竟这项研究主要针对安全对齐、红队监控等任务,并不是普通聊天和日常编程。但至少它证明了一件事情:Astra 确实存在一种隐蔽性的“降智”行为。如果你的任务刚好涉及某些敏感内容,就有可能遇到类似的情况。
所以,当初 OpenAI 说 Astra 是一个更安全、更强、更会遵守边界的模型,现在我们却在它身上看到了另一面:为了更安全而降低任务完成度,为了不直接拒绝而制造一堆阻塞,慢慢让原本可以完成的任务无法继续。
这也让我越来越担心,未来更聪明的 AI,会不会产生更多我们无法察觉的隐蔽行为。
所以,如果 AI 真的成精了,我们人类怎么办?
哎呀,先吃饭再说吧。