跳到正文
SemiAnalysis 长文 RSS· Kimbo Chen·· 2026-08-04AI 评分54

SemiAnalysis 长文拆解 Kimi K3 架构:KDA 线性注意力、Attention Residuals 与 LatentMoE 的设计原理

Kimi K3, The Manos, The Mythos, The Legendos

AI 导读

SemiAnalysis 发布长文,系统拆解 Kimi K3 的核心架构技术。文章从线性注意力、DeltaNet、Gated DeltaNet 推导出 Kimi Delta Attention(KDA)。

来源:SemiAnalysis 长文 RSS · newsletter.semianalysis.com