
随着 DeepSeek-R1 的出圈,强化学习尤其是 GRPO 已经作为大模型后训练的一种标准范式。然而,GRPO 并非完美无缺,近期的研究指出了它的两个明显缺陷:
能力边界没有拓宽(探索不足):GRPO 更多是在模型现有的能力圈子里做 “跷跷板” 游戏(探索与利用的权衡),甚至在大采样预算下(如 Pass@256),其表现反而低于基础模型。
不懂得 “因材施教”(难度不敏感):GRPO 的奖励机制忽略了题目的实际难度和模型当前的掌握程度,导致训练效率低下。
针对这一现状,近日来自香港大学的屈靓琼教授团队首次提出了一个统一的视角来解释这两大缺陷,并将其命名为 “隐式优势对称性(Implicit Advantage Symmetry)”。基于这一理论视角,团队提出了全新的算法 A-GRAE,在不增加额外计算成本的前提下,同时显著提升了模型的准确率(Pass@1)与探索能力(Pass@k)。论文获 NeurIPS 2026 录用,代码已开源。

论文题目:Unveiling Implicit Advantage Symmetry: Why GRPO Struggles with Exploration and Difficulty Adaptation
录用会议:NeurIPS 2026
论文地址:https://arxiv.org/pdf/2602.05548
代码仓库:https://github.com/HKU-HealthAI/A-GRAE
第一作者:香港大学博士生余志齐
一、研究动机:
GRPO 为何会陷入双重瓶颈?
在可验证奖励强化学习中,GRPO 会让模型针对同一道题生成多条回答,再由验证器打分。以二值奖励为例,答对得 1 分,答错得 0 分。组相对优势估计将每条回答的奖励减去组内均值,再除以标准差。一个简单的标准化步骤,同时决定了组内如何奖惩、题目之间如何分配学习信号。研究团队指出,这种组相对优势中隐藏着一种未被察觉的 “对称性”,这正是阻碍模型进一步进化的罪魁祸首。这种对称性体现在两个层面:

图 1:GRPO 中的双重隐式优势对称性问题。在组内级别,正负轨迹的优势权重相等,导致低概率正确路径的 logits 无法更新,阻碍探索;在样本级别,中等难度样本的绝对优势值之和最大,导致困难数据训练不足。
组级别的对称:在组内相对优势计算中,正确轨迹和错误轨迹的绝对优势值之和是严格相等的(零和性质)。这种对称导致那些 “概率极低但正确” 的未采样轨迹,无法获得直接的奖励信号。模型只能在已有路径上打转,不敢去探索新的解法。
定理 1. 行为空间的 Logit 更新:假定 B 为模型所有可能生成的轨迹集合(包含已采样的集合 G 和未采样的集合 U)。令 C 为组内优势之和(在标准 GRAE 中,归一化使得 C=0)。在梯度下降下,任意一条轨迹的 Logit 更新量为:

其中 η 为学习率,
为该轨迹是否属于采样集合 G 的指示函数,
为模型生成该轨迹的当前概率。在标准 GRAE 中,优势归一化导致了零和对称(C=0)。这使得采样到的正确与错误轨迹被直接奖惩,而未采样的轨迹在行为空间中得不到直接更新,因此不能学习到未采样却正确的潜在新路径,抑制模型探索。
样本级别的对称:团队推导出,GRPO 分配给单条 prompt 样本的更新幅度正比于
(p 为成功率)。这意味着,中等难度 (p=0.5) 占据了最大权重,而简单题(如 p=0.75)和困难题(如 p=0.25)的权重竟然完全相同。这种僵化的 “静态对称” 忽略了模型在训练过程中能力的动态变化。
定理 2. 更新幅度与样本难度的关系:考虑针对一个查询(样本)的轨迹组 G,其二元奖励为
。在组相对优势估计下,该组内绝对优势值的总和可推导为:

其中 p 表示该样本在组 G 内的经验成功率。定理 2 揭示了 GRAE 中固有的难度偏差:中等难度的样本主导了策略更新,而简单样本和困难样本在相同难度偏移下权重完全相同。然而,这种静态的方法忽略了训练过程中的动态分布偏移 — 即随着模型能力增强。简单样本在样本池中会日益占据主导。这种对称性导致模型在琐碎数据上过拟合,却牺牲了对高难度场景的学习,从而无法满足演化学习过程中对模型能力非平稳性的需求。
二、控制变量实验:
打破对称性会发生什么?
基于上述理论,团队设计了受控实验,强行在组级别和样本级别打破这种对称性,以观察其因果效应。

表 1:控制变量实验设计汇总。Ai 表示对应回答优势,p 表示采样成功概率。β=10 和 γ=0.5 是常数项。
实验 I. 打破组级别对称:当刻意放大正确轨迹的权重时,模型遭遇了严重的 “熵坍缩”,大采样预算下表现垫底;反之,当压制正确轨迹的权重时,模型的探索能力被极大地激发,但训练后期容易引发崩溃。

图 2:使用 Qwen2.5-Math-7B 打破组级别对称性的实验结果。我们放大(正优势主导,Positive-Dominant)或抑制(负优势主导,Negative-Dominant)正确轨迹的优势值,以将其性能与 GRPO 及基模型进行比较。性能评估采用 Pass@k 指标。最后一张图展示了训练集上的熵动态变化。
实验 II. 打破样本级别对称:不存在普遍最优的静态难度加权策略,最佳策略取决于具体基准和训练阶段;实验证明,早期优先学习简单样本以掌握基础模式,后期转向困难样本以突破能力上限,这种 “由易到难” 的非平稳动态课程模式,比传统的静态固定策略或仅关注难题的方法能带来更高的学习效率。

图 3:使用 Qwen2.5-Math-7B 打破样本级别对称性的实验结果。我们重新缩放优势值,将学习焦点转向更困难的样本(Hard-Focused)或更简单的(Easy-Focused),以比较它们与 GRPO 及基模型的性能。性能评估采用 Pass@k 指标。最后一张图展示了训练集上批次内(within-batch)正确采样响应的数量。
小结(Takeaway):
压制正确路径的权重有助于探索,但过度压制会导致训练不稳定。因此,需要一种动态衰减机制。
简单样本在早期能帮助模型快速掌握推理格式,而困难样本在后期能突破性能上限。因此,需要一种从易到难的动态课程机制。
三、新的统一视角:
从优势对称性出发重新审视现有 RL 方法
这项研究最大的理论贡献之一,是提供了一个极具解释力的统一视角。在以往的研究中,针对 GRPO 的改进往往是 “割裂” 的,但从优势对称性出发,现有的各种方法其实都可以同一在这一框架下:
打破 “组级别对称性”:现有的负强化(Negative-reinforcement)和 Pass@k 导向的方法,本质上都是通过抑制对于正确路径的过度学习,隐式地打破了组级别的对称性,以此来促进模型的探索。
打破 “样本级别对称性”:而现有的那些强调高熵 Token 或困难样本的方法,则主要是通过根据样本的数据分布重新分配学习信号,打破了样本级别的对称性,将焦点转向不确定或困难区域。
我们希望这一统计视角能够为未来的强化学习奖励设置或者优势构造方法提供借鉴意义,在设计过程中对照这一性质来避免潜在的边界缩减和样本利用效率不足问题。
四、A-GRAE:
简单而有效的非对称优势重塑方法
我们此前的分析揭示,GRPO 中固有的优势对称性削弱了模型的探索能力和难度适应能力。为了解决这些局限性,我们提出了非对称组相对优势估计(A-GRAE)框架,以动态调节探索激励和对样本难度的关注。为了实现这一目标,需要一个度量指标来量化训练状态;因此,我们引入了批次平均奖励(batch-wise mean reward)作为代理指标:

其中 B 表示批次中的轨迹总数,
表示当前步的平均奖励,该值越高意味着模型在当前批次的能力越强。接着,我们在样本级别引入了一种动态的注意力偏移机制,随着训练的推进,让学习重心从简单样本过渡到困难样本:

其中 p 表示给定问题的采样成功率。随着模型能力的发展以及采样成功率的提高,分配给困难样本聚焦项(第一项)的权重会逐渐增加,而简单样本聚焦项(第二项)的对应权重则会减小,从而根据样本当前阶段能力动态地实现由易到难的自适应转变。
在组级别上,我们针对正确响应的优势值提出了一种衰减抑制策略(attenuation suppression strategy),该策略在早期阶段鼓励探索,同时在后期阶段保持稳定性:

这里 α>0 是一个缩放参数。
综上,一旦计算出了初始优势值,我们所提出的 A-GRAE 框架就可以无缝地整合到 GRPO 函数或其他 GRPO 变体中,即插即用。
五、实验验证:
准确率与多样性的双赢
研究团队在涵盖文本数学推理和多模态推理的 7 个主流基准上(包括 AIME2025, AMC23, MATH, Geo3K, MathVision 等)进行了广泛验证,使用了 Qwen2.5-Math-7B、DeepSeek-R1-7B 和 Qwen2.5-VL-3B 等基座模型。
全面超越基线:无论是纯文本还是多模态任务,A-GRAE 都显著提高了 GRPO 及其变体的表现。例如在最具挑战的 AIME2025 上,DAPO+A-GRAE 的平均表现(k=1 到 256)达到了 53.3%,显著高于原版 DAPO 的 52.2%。
解决准确率和多样性的 "跷跷板" 难题:过去的算法往往在准确率(Pass@1)和多样性(Pass@k)之间难以同时提升。A-GRAE 实现了双赢,既提升了回答的准确率,又在大采样预算下维持了极高的多样性。
泛化能力突出:在多模态医疗推理和分布外(OOD)任务中,A-GRAE 同样带来了显著提升,证明了该方法的普适性。

表 2:使用 Qwen2.5-Math-7B 在 MATH、AIME 2025 和 AMC23 上的 Pass@k 结果。 加粗和下划线的数字分别表示在每个 k 值下的最佳和次佳结果。具体而言,我们在 AIME2025 和 AMC23 上进行了 16 次运行(实验),在其余基准测试上进行了 4 次运行。

表 3:使用 Qwen2.5-VL-3B 在多模态数据集上的准确率。
六、结语
这项工作突破了”GRPO 天然缺乏探索能力” 的共识,并高屋建瓴地提供了一个统一视角,成功将强调多样性和提升准确率的两大研究流派统一在 “打破优势对称性 “的框架下。在此视角下提出的 A-GRAE,凭借极简的公式设计和无需增加额外算力的高效特性,在实际验证中展现出强大的有效性,为 RLVR 时代的算法优化提供了坚实的新基石。
更多理论推导、证明细节与完整实验数据,欢迎阅读原论文!代码已全面开源,欢迎社区交流探讨!

© THE END
转载请联系本公众号获得授权
投稿或寻求报道:liyazhou@jiqizhixin.com