好奇我们万亿级智能体基础模型背后的秘密武器吗?它来了!🥳 去年,我们发布了 IcePop,通过双边掩码来稳定 MoE RL。随着我们深入探索,意想不到的事情发生了:掩码比例下降了,而训练-推理不匹配却持续增长!😞 今年,我们推出 𝑲𝑷𝒐𝒑🪩,它用二元 KL 散度取代固定比例约束,自适应地掩码不合适的 token!掩码比例会随训练过程中训练-推理差距的波动而自适应调整,从而在长时程智能体 RL rollout 中保持策略优化稳定且有效。 通过这一简单改动,它使我们的 Ring-2.6-1T 在纯 RL 训练下于 SWE-bench-Verified 上取得超过 76 的成绩! 无需修改基础设施。无需 routing replay。只需一个参数,用 𝑲𝑷𝒐𝒑 为你的智能体 RL 赋能! 点击了解更多细节! 📜Blog: https://ringtech.notion.site/kpop
推荐理由:蚂蚁团队把 IcePop 升级成 KPop,从固定掩码变成自适应 KL 区域,思路很巧。Ring-2.6-1T 纯 RL 直接冲到 SWE-bench 76+,做 agentic RL 训练的同学值得翻一下博客。