大模型推理也能“智能调度”：让奖励模型按需分配算力的动态路由机制 | ACL 2026

生成式奖励模型（GRM）通过思维链（CoT）显著提升了奖励信号的质量，但其“一刀切”的推理策略让简单样本和复杂样本消耗同等计算资源，导致显著的算力浪费。腾讯混元与新南威尔士大学联合提出的 E-GRM（Efficient Generative Reward Modeling）框架，将模型自身的不确定性重新定义为计算资源的调度信号，仅对真正困难的样本投入完整 CoT 推理，对其余样本走短路径直接输出。本文从问题背景、动态路由机制、判别式评分器到训练与实验四个维度对该框架进行系统解读。论文题目：Reason Only When Needed: Efficient Generative Reward Modeling via Model-Internal Uncertainty收录会议：ACL 2026arXiv 链接：https://arxiv.org/abs/2604.10072问题背景与动机1.1 静态推理：GRM 绕不开的效率瓶颈奖励模型是 RLHF 流程的核心组件，为策略模型的候选响应提供质量信号。从标量奖励模型到生成式奖励模型（GRM），推理链的引入显著提升了奖励信号的可解释性与判别能力，但也带来了固有的效率问题：1. 资源同质化：无论是“这句话是否安全”的简单判断，还是“证明这道数学题”的复杂推理，GRM 都执行相同深度的 CoT 生成，简单样本被迫消耗与复杂样本相同的 FLOPs。2. 投票机制信息损失：传统 GRM 从 K 条推理链中通过多数投票决定答案，这种离散决策无法区分“推理过程正确”与“”恰好蒙对答案“”，奖励信号噪声较大。1.2 E-GRM 的核心洞察：把不确定性变成调度信号E-GRM 的核心观察是：模型的解码行为隐含着问题复杂度的信息。对同一输入多次解码，若输出高度一致，说明模型已有充分把握，再追加 CoT 只是冗余计算；若输出高度分散，则说明问题超出了模型的“直觉”，需要深度思考。基于这一观察，E-GRM 将不确定性从传统意义上“需要规避的风险信号”重新定义为“可被利用的计算资源调度信号”，构建了先快速判断、再按需投入的智能路由框架。E-GRM 方法论：动态路由视角2.1 共识度：路由决策的核心指标给定输入 ，E-GRM 首先执行  次并行解码（，使用不同采样温度与 top-p 参数），得到初始响应集合 。共识度定义为：其中 Count（y） 是答案 y 出现的次数。共识度值域 【1/M,1】，1.0 表示所有解码完全一致，接近 0 表示高度发散。这一指标具备三个优良性质：取值有界、计算成本极低（仅多解码 4 次）、且与问题难度呈强单调关系。2.2 动态路由：基于阈值的二元决策基于共识度，E-GRM 执行二元路由决策：• 短路径：直接输出共识答案 ，完全跳过 CoT 生成，计算成本仅为完整流程的 15-20%。• 长路径：触发 K 条 CoT 链生成、判别式评分、最优选择的完整推理流程。阈值 τ=0.8 经过网格搜索确定，在 MATH 数据集上恰好对应准确率陡降点之前，实现效率与精度的帕累托最优。2.3 并行解码的工程实现为压低路由决策本身的开销，E-GRM 将 5 次解码组织在同一 GPU 批次内并行执行，借助张量核心的并行能力将额外延迟控制在 5%以内；同时通过差异化采样参数（温度{0.7, 0.8, 0.9, 1.0, 1.1}）保证多样性，避免参数同质化造成的“伪共识”。2.4 判别式评分器：替代投票的连续质量信号进入长路径后，E-GRM 生成 K 条候选推理链，使用判别式评分器 SΦ 替代传统投票机制，输出连续分数 q=SΦ（x，r）∈（0，1）。评分器基于 BERT 编码器，将提示和推理链通过 [SEP] 拼接后编码，从 [CLS] 位置经线性层映射到分数，参数量约 1 亿。评分器采用混合损失训练：Huber 损失在小偏差时二次惩罚、大偏差时线性惩罚，兼具精细调优与抗噪声能力；铰链损失仅在正负样本分差不足时产生梯度，自动聚焦难例。 优先保证回归精度。2.5 Huber 损失的数学形式Huber 损失分段函数定义为：当预测误差小于阈值 δ=0.1 时使用 L2 损失提供精细梯度；超过阈值时切换为 L1 损失，防止异常标签产生过大梯度，保障训练稳定性。2.6 两阶段训练体系SFT 阶段：根据动态触发将训练集划分为短路径集（学习 L=-logPΘ（y|x） ）和长路径集（学习 L=-logPΘ（r，y|x） ），让模型同时具备“”快答“”与“”慢思考“”能力。扩展 GRPO 阶段：在标准 GRPO 基础上引入成对对比奖励：优化目标：其中 β=0.3 平衡离散答案正确性与连续推理质量。图 1：E-GRM 的完整框架，涵盖从动态不确定性的量化到判别式评分器的整体流程。图 2：Coupled-GRPO 的成对偏好奖励机制，使用评分器差值作为质量对比信号。图 3：E-GRM 训练与推理完整流程。实验评估3.1 核心效率指标在 MATH 数据集上，E-GRM 的路由分布与传统 GRM 形成鲜明对比：58%的样本进入短路径直接输出；延迟从 3.8 秒降至 2.2 秒（-62%）；FLOPs 从 23.7T 降至 15.7T（-49%）；准确率从 75.1%提升至 78.4%（+3.3%），呈现“”既快又准“”的双赢效果。3.2 基准测试表现3.3 消融实验消融实验揭示出一个关键发现：完整框架的增益（9.3%）大于单独移除动态触发（-3.2%）和评分器（-5.6%）的损失之和（8.8%），说明二者存在正向协同效应。其机制是：动态触发筛选出真正需要评估的复杂样本，使评分器能聚焦最有判别价值的对象。3.4 路由质量与规模扩展短路径样本人工抽样准确率达 94.3%，证明高共识度确实对应简单样本；长路径样本相比传统 GRM 提升约 2.3%，证明评分器有效。从 7B 到 32B，E-GRM 呈现一致的性能提升（RM-Bench: 70.1%→76.4%→79.2%），且长路径样本的精度提升（约 12%）显著大于短路径（约 5%），说明大模型优势集中在复杂推理上。3.5 完整推理管道推理阶段流程：(1) 对输入 x 执行 M 次并行解码；(2) 计算共识度并做出路由决策；(3) 短路径直接输出共识答案；(4) 长路径生成 K 条 CoT；(5) 评分器对每条链打分；(6) 选择最高分输出。贡献与局限4.1 核心贡献1. 首次将模型内部不确定性从“风险信号”拓展为“计算资源调度信号”，开创了按需推理的新范式。2. 混合损失评分器在校准性与区分度之间取得最优平衡，连续质量信号替代离散投票。3. 统一的动态触发+评分+优化框架，对模型规模与任务类型保持稳定增益。4.2 局限与展望1. 并行解码引入约 5%固定延迟，在极低延迟场景仍需进一步优化。2. 固定阈值  在专业领域可能需要自适应校准。3. 评分器在分布外推理风格上的泛化性有待验证。结   语E-GRM 通过“共识度”这一简洁信号，实现了延迟降低 62%的同时精度提升 3.3%，验证了“减少不必要的推理”这一效率优化思路的有效性。动态路由机制让奖励模型第一次真正实现了“智能分配算力”，为大模型的高效部署提供了可复用的方法论模板，有望在 RLHF 推理系统中产生持续影响。延伸思考6.1 动态路由的范式转换意义E-GRM 将“动态计算分配”这一在视觉领域（如 Mixture-of-Experts、Conditional Computation）已经成熟的思想，首次系统化地引入到奖励建模领域。这一引入不是简单的技术迁移，而是将“模型自身的不确定性”作为路由信号——这是 E-GRM 最具原创性的贡献。6.2 智能资源分配的未来空间未来的 LLM 推理系统将不再是“一刀切”的等长推理，而是根据问题难度、用户场景、SLA 要求动态分配计算资源。E-GRM 的动态路由是这一未来方向的早期里程碑，其设计思路（共识度信号+二元路由+评分器评估）有望成为通用模板。图表附录：附图 1：Coupled-GRPO 中配对奖励函数公式。附图 2：扩展 GRPO 优化目标公式。参考文献：Xue, C., Wang, Y., Liu, M., Zhang, H., Chen, K., Li, X., et al. (2026). Reason Only When Needed: Efficient Generative Reward Modeling via Model-Internal Uncertainty Estimation and Dynamic Routing Mechanisms. Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026), Main Conference Track, Long Papers. Association for Computational Linguistics. arXiv:2604.10072（https://arxiv.org/abs/2604.10072）相关工作可进一步参考 RLHF 奖励建模、生成式奖励模型（GRM）、思维链（CoT）推理优化、模型不确定性量化、动态计算分配以及高效大语言模型推理等方向的最新研究成果，这些研究共同构成了 E-GRM 框架的理论基础与技术脉络。