UniRL：统一多模态 RL 框架的 2.4X 端到端性能优化实践｜AICon深圳

Agent 时代，哪些方向正在成为行业关键变量？50 + 实战案例揭晓答案！模型参数规模不断突破，推理成本持续下降，开源生态日益繁荣。当模型能力逐渐成为行业共识，一个新的问题开始浮现：当人人都能获得强大的模型能力之后，真正的竞争力还剩下什么？ 答案正在从模型能力本身，转向围绕模型构建可规模化的智能系统；从单点能力提升，转向系统工程与组织级落地能力。在这一背景下，2026 年 AICon 人工智能开发与应用大会 · 深圳站正式启动。本次大会将于 8 月 21 日—22 日举办，聚焦 AI 基础设施、大模型系统、智能体工程、数据智能、多模态技术与行业落地等关键方向，邀请来自腾讯、阿里、华为、百度、蚂蚁集团等 50 + 头部科技企业技术负责人、科研机构一线专家，系统性分享前沿洞察与实战干货，共同探讨 AI 技术从能力到系统、从实验到生产的真实路径。腾讯多模态 RL Infra 负责人朱文熙已确认出席 “AI Infra、推理工程与异构计算” 专题，并发表题为《UniRL：统一多模态 RL 框架的 2.4X 端到端性能优化实践》的主题分享。多模态生成模型（图像/视频/3D）的强化学习正在成为提升生成质量与对齐效果的关键路径，但 Diffusion RL 与 LLM RL 在 Infra 层面有本质差异：Rollout 是 compute-bound 的密集矩阵运算（难以靠调度优化）、Agentic 场景下低密度计算（PE / Tool Call）与高密度计算（Diffusion Denoise）串行导致算力难以打满、Reward 负载异构且 bursty。这三点让 LLM RL 框架的经验无法直接迁移。本次分享将完整呈现 UniRL 从架构设计、自研算子、训推一致性到异步引擎的全链路工程实践，以及落地过程中真实的 tradeoff 与踩坑。朱文熙，腾讯多模态 RL Infra 负责人，南京大学硕士毕业后就职于英特尔，从事安卓平台编译器研发；2016 年转向 AI Infra 方向，负责了英特尔的 Tensorflow/Pytorch 开源支持，优化在 x86 平台上的性能；2019 年加入腾讯后，带领团队从零开始支持“绝悟”和“绝艺”游戏 AI 的训练推理优化；目前作为腾讯混元多模态团队的 RL Infra 负责人，重新打造了图片生成/视频生成/世界模型/3D 生成/ ASR / TTS /语音对话/视频对话的 RL 框架。他在本次会议的详细演讲内容如下：演讲提纲：为什么 Diffusion RL 需要一个新框架训练优化 vs 推理优化的本质差异：推理目标单一（速度/成本），RL 训练目标多元（正确性 > 扩展性 > 性能），且误差会累积放大Diffusion RL ≠ LLM RL 的三个 Infra 挑战：Rollout compute-bound、混合架构（PE/Tool Call + Denoise）调度困难、Reward 异构且 bursty组织层面的隐性成本：算法与 Infra 的信息不对称如何拖慢迭代，以及我们「Infra 团队配置算法工程师做沟通桥梁」的实践2. 训得稳（一）：简洁的界面设计Role/Worker 分离架构：算法逻辑与物理资源管理解耦，资源拓扑由配置文件驱动原子化插件架构：算法与模型独立插件式接入，降低跨模型、跨算法适配成本类单机编程抽象：屏蔽分布式与并行策略复杂度对比实证：同一个 FlowGRPO 算法，UniRL 配置一键接入 vs Verl 需手写 TaskRunner、手动编排 Role/Worker/ResourcePool、每个「模型 × 算法」实现一个 pipeline3. 训得稳（二）：Bitwise 训推一致性痛点：低精度 Rollout 引入训推不一致 → 训练无法收敛Challenge 1：高性能 GEMM 依赖 split-k，浮点累加顺序不一致 → 多次计算无法 bitwise 对齐Solution：解耦「计算」与「规约」两阶段，以固定拓扑顺序串行累加Challenge 2：多维并行策略切换（TP1 ↔ TP2）→ 形状变化、跨卡分布式规约 → bitwise 对齐失效Solution：K 维等价分段迭代 + 定序序列化规约4. 训得快：自研 FalconGEMM，突破硬件峰值算力代数级优化：O(N³) → O(N^2.807)Challenge：大量中间结果、冗余访存、算子碎片化、写冲突Solution：Group 并行融合消除冗余访存与写冲突、拆分组并行恢复负载均衡、缓存感知调度提升 L2 命中率跨平台与多数据类型：基于 TVM + Triton 做硬件无关的声明式描述，自动完成常数折叠、寄存器复用、指令交错实测数据：单算子 BF16 +15.3% / FP8 +17%；端到端 BF16 8–14% / FP8 最高 36%（H20 实测对标 cuBLAS / CUTLASS）5. 扩展性：异步训推引擎趋势：新一代模型需多轮 tool use，Rollout 从「计算任务」变为「Agent 轨迹执行」，从 Single-turn 走向 Multi-turn Agentic Diffusion RL痛点：GPU 利用率 <20%、轮数无法预计带来的长尾问题Green Context Sharing：基于 NV Green Context 做 SM / Mem 维度的动态资源分配，让 PE / Tool / Reward / Train / Diffusion 在同卡上算力 + 带宽同时拉满统一 Reward 资源池：从 Classifier Reward → Generative Reward → Agentic Reward Hub 的演进；多 Reward × 跨任务交集天然适合资源复用，按需拉起、空闲释放，做弹性伸缩与 SLA 保障6. 总结与展望四大支柱回顾：架构解耦、FalconGEMM 算子、Bitwise 一致性、资源精益管理演讲痛点正确性优先带来的工程约束远超推理优化。RL 训练中错误会沿训练步累积，一个看似无害的低精度近似就可能让收敛曲线崩掉。这意味着很多在推理场景「精度容限内」可接受的优化（如 split-k GEMM、低精度 Rollout），在训练场景必须做到 bitwise 可复现才能用——优化空间被一致性约束大幅压缩，做不到「自动化套用推理的那套加速」模型与算法的组合爆炸。每支持一个「模型 × 算法」组合，传统方案就要实现一套 pipeline、手动编排 Role/Worker/ResourcePool。随着模态（图像/视频/3D）和算法（FlowGRPO 及后续）增多，适配成本指数级膨胀。UniRL 用配置驱动 + 插件化压住了这条曲线，但代价是前期抽象设计的复杂度，且抽象边界一旦定错，后期返工成本很高。算法与 Infra 的协作鸿沟。两个团队领域知识差异大、「行业黑话」不互通，模型训不好时容易互相归因（"Infra 太差" vs "算法菜"），本质是信息不对称。这不是纯技术问题，我们的解法是在 Infra 团队配置算法工程师（算法:Infra ≈ 1:3）充当产品经理与沟通桥梁——这部分组织层面的经验同样值得分享。听众收益Diffusion RL 的 Infra 方法论：理解 Diffusion RL 与 LLM RL 在计算密度、调度、Reward 负载上的本质差异，以及 Role/Worker 分离 + 插件化 + 类单机抽象这套可复用的框架设计思路——当你要支持快速增长的「模型 × 算法」组合时，如何做扩展式适配而非推倒重来训推一致性的工程决策框架：从浮点累加顺序、split-k、多维并行切换三个角度，理解低精度训练为什么会破坏收敛，以及如何用算子级 Bitwise 对齐。这套思路对任何做低精度训练/RL 的团队都有直接参考价值自研算子与异构资源调度的实战经验：FalconGEMM 的优化路径（代数优化 + Group 融合 + 缓存感知 + TVM/Triton 跨平台）、Green Context Sharing 的动态资源分配、Reward 服务化资源池的设计，为正在做算子优化或多任务混合调度的团队提供真实的性能数据与 tradeoff 参考，减少试错成本除此之外，本次大会还策划了AI Infra、推理工程与异构计算、超级个体与蜂群智能的共生进化、迈向机器人 AGI 的关键技术与产业实践、Agent 安全：从风险到可控、端侧智能与 AI 原生终端、AI Agent 高价值商业场景实战等 11 个专题论坛，届时将有来自不同行业、不同领域、不同企业的 50+资深专家在现场带来前沿技术洞察和一线实践经验。大会限时早鸟票享 8 折专属优惠，现在报名立减 1160，更多详情可扫码或联系票务经理 13269078023 进行咨询。