跳到正文
公众号:蚂蚁百灵· 百灵大模型·· 2026-06-29AI 评分43

如何优雅地给 MLA 加上 QK-Norm?

AI 导读

针对 MLA 架构与 QK-Norm 的冲突,作者提出一种数学等效变换,将 QK-Norm 的静态仿射权重融合进 Query 投影,使推理时仅需额外缓存每个 token 的 1 个逆 RMS 标量,即可实现严密的 QK-Norm 数学等价,无需缓存高维 Key。

来源:公众号:蚂蚁百灵 · mp.weixin.qq.com