公众号:蚂蚁百灵· 百灵大模型·2026-06-29 18:00· 2026-06-29AI 评分43如何优雅地给 MLA 加上 QK-Norm?AI 导读针对 MLA 架构与 QK-Norm 的冲突,作者提出一种数学等效变换,将 QK-Norm 的静态仿射权重融合进 Query 投影,使推理时仅需额外缓存每个 token 的 1 个逆 RMS 标量,即可实现严密的 QK-Norm 数学等价,无需缓存高维 Key。来源:公众号:蚂蚁百灵 · mp.weixin.qq.com数据与训练教程实践#教程/实践#数据/训练