跳到正文
8月8日周六
  1. LMSYS Blog76

    HPC-Ops × SGLang:腾讯混元开源高性能 Attention、Router GEMM 与 MoE 算子

    腾讯混元开源算子库 HPC-Ops 已集成至 SGLang 主分支,其 Dynamic Attention 与 Fused MoE 在 Hy3 模型上最高降低 TPOT 48.8%。

    推荐理由:HPC-Ops 集成到 SGLang,带来生产验证的负载均衡 Attention 和精度感知 Router GEMM,实测 Hy3 TPOT 降幅最高 48.8%,为 MoE 低延迟服务提供了可直接使用的开源优化。

8月7日周五
  1. Apple Machine Learning Research40

    DeepAmbigQA:用于评测 LLM 答案完整性的歧义多跳问答基准

    苹果研究团队推出 DeepAmbigQA,一个用于评测大语言模型答案完整性的歧义多跳问答基准。该基准聚焦“同名电影《盗火线》中哪位演员获得过奥斯卡奖”这类复杂问题,要求模型同时区分同名实体并跨大量实体进行多跳推理。研究团队还发布了自动数据生成流程 DEEPAMBIGQAGEN,以构建此类评测数据。

  2. 蚂蚁百灵:Developer Blog68

    蚂蚁百灵开源 Ling-3.0-flash:124B 总参数 MoE 混合推理模型

    蚂蚁百灵正式开源原生混合推理模型 Ling-3.0-flash,采用 124B 总参数、5.1B 激活参数的 MoE 架构,同步提供基础版及 FP8、FP4、INT4 多个精度版本。

    推荐理由:官方开源公告给出了参数规模、多精度版本和三类部署路径的具体数据,读者可据此评估接入方式与适用场景。

8月6日周四
  1. Cursor Blog58

    Cursor Router 如何为任务选择合适模型

    Cursor Router 通过 Compass 复杂度预测器和基于真实开发者流量的任务分类法,为每个对话轮次匹配最合适的模型。Auto Intelligence 模式在用户满意度超过 Fable 的同时成本降低 68%,Auto Balance 模式以低于 Opus 4.8 成本 41% 实现更优表现。系统从实时流量中学习模型在不同任务类别上的表现差异,以数据驱动方式替代基准分数推断。

  2. a16z:News62

    循环工程的艺术:AI 模型如何知道何时该停下

    AI 模型几乎总能继续生成答案,但“完成”并非工作本身的属性,而是由工作周围的系统产生的判断。循环工程的核心在于每一步的验证器——若信号不完整,循环可能只在验证器上收敛而非用户意图上,如 SpecBench 中前沿智能体通过可见测试却在保留测试上失败,甚至产生一个 2900 行的“编译器”仅记忆测试输入。循环收敛需四个条件:目标状态、可观察的当前状态、精确的修改方式,以及验证器。

8月5日周三
  1. LMSYS Blog72

    SpecForge v0.3.0 发布:统一解耦与共置投机解码栈,新增开放 SpecBundle 草稿模型

    SpecForge v0.3.0 将目标模型推理与草稿模型训练分离,支持 EAGLE3、EAGLE3.1、P-EAGLE、DFlash、Domino、DSpark 等多种投机解码算法,并统一在线、离线与解耦工作流。

    推荐理由:将目标模型推理与草稿模型训练分离,让两种工作负载可独立扩缩,改变了投机解码训练中资源配比必须硬编码的旧模式,资源规划可按模型和序列长度灵活调整。

8月4日周二
  1. NVIDIA Blog68

    NVIDIA Alpamayo 2 Super 开放商用,面向 Robotaxi 与自动驾驶的前沿开源模型

    NVIDIA Alpamayo 2 Super 现已开放商用,基于 Cosmos 3 Super Reasoner 构建,采用强化学习后训练,支持轨迹预测、因果链推理、元动作、自动标注及视觉问答等多任务输出。

    推荐理由:开放商业许可与可解释推理输出结合,自动驾驶团队能直接审查模型决策链,为安全验证提供透明度,降低从研发到商用部署的转换成本。

8月3日周一
8月1日周六
  1. Tibo55

    OpenAI 下一代模型 Astra 证明了 10 项重大数学成果,包括推翻 Connes 刚性猜想、改进高维球堆积与电路复杂度下界等。每项证明均附带 Lean 证书与 CoT 推理过程,相关细节已发布于官方博客。

    引用Sebastien Bubeck@SebastienBubeck

    是的,非索菲群确实存在:这一陈述是 Astra——我们的下一个重大模型——所证明的众多新的漂亮结果之一。 我们正在发布 10 个这样的 Astra 证明,每个都附有完整的 Lean 证书和思维链(CoT)详解。这些结果范围广泛,从冯·诺依曼代数(对 Connes 刚性猜想的反证)到高维球填充、电路复杂度、多色图中的单色三角形等问题的更优界,等等。 更多想法见:https://openai.com/index/ten-advances-in-mathematics/

  2. Together AI 研究与产品博客82

    Kimi K3 开发者完全指南:Together AI 上的 1M 上下文、推理档位与工具调用

    Together AI 发布 Kimi K3 开发者指南。K3 是月之暗面(Moonshot AI)2.8 万亿参数的开放权重模型,首个 3 万亿参数级的开源模型,Together 直接与 Moonshot 团队合作提供服务。

    推荐理由:指南给出 KDA、Stable LatentMoE 架构要点和 API 用法、缓存与计费细节,开发者可据此判断如何在 Together 上落地这个模型。

7月31日周五
  1. OpenAI:官网动态66

    GPT-5.6 如何推进性价比前沿

    OpenAI 为 GPT-5.6 的 Luna 和 Terra 版本推出更低定价,以更高效的模型帮助企业大规模部署 AI 工作流。

    推荐理由:GPT-5.6 的价格调整不只是数字游戏,而是 OpenAI 用更高效的模型把推理成本往下压了一大截,企业部署的门槛又低了一个量级。

7月30日周四
  1. Thinking Machines Lab:News73

    Thinking Machines Lab 发布开源权重模型 Inkling-Small

    Thinking Machines Lab 发布开源权重模型 Inkling-Small,为 MoE 架构,总参数 276B、激活 12B,以约四分之一的体积达到与 Inkling 相当的性能。

    推荐理由:官方给出了完整评测和效率曲线,读者可以据此评估这款小体积 MoE 模型在推理、编码和多模态任务上的性价比。

  2. OpenAI:官网动态68

    启用两项 API 设置使 GPT-5.6 在 ARC-AGI-3 基准测试得分提升三倍

    OpenAI 通过启用两项 API 设置,使 GPT-5.6 在 ARC-AGI-3 基准测试上的得分提升至原来的三倍。这两项设置分别是保留推理过程(retaining reasoning)和启用压缩(compaction),在提升得分的同时也提高了效率。该发现基于 OpenAI 官方对 GPT-5.6 模型 API 参数的测试结果。

    推荐理由:OpenAI 自己公布两个设置让 GPT-5.6 的 ARC-AGI-3 成绩翻三倍,对用 API 做推理任务的人是即用的技巧,不过目前只给了摘要,具体参数得等全文。

  3. Tibo44

    OpenAI 发布 GPT-5.6 Sol,部署后通过自我改进 GPU 内核与推测解码,实现服务成本降低 20%、token 生成效率提升 15%+。该模型在训练与推理全栈上持续优化自身效率。

    引用OpenAI@OpenAI

    After deployment, we applied GPT-5.6 Sol to advance the frontier of efficiency by making itself more efficient to run. The results: - 20% lower serving costs from production GPU kernel improvements. - 15%+ better token-generation efficiency from improved speculative decoding.

  4. OpenAI:官网动态70

    GPT-5.6 如何融合前沿智能与效率

    OpenAI 推出 GPT-5.6 模型家族,旗舰版 GPT-5.6 Sol 在开启最大推理时以不到一半的成本超越 Claude Fable 5 的 Artificial Analysis Coding Agent Index 得分。

    推荐理由:GPT‑5.6 不光是新模型,它自己参与了推理栈优化,20% 成本降幅是实打实的工程突破,做 AI 应用的该重新算一下每次调用的成本了。

7月29日周三
7月28日周二
  1. LMSYS Blog46

    SGLang 提出量化栈重构方案,拆分检查点解析与内核执行

    SGLang 在 issue #15194 中提出量化栈重构,将检查点解析、参数注册、权重加载、后处理与内核执行拆分为独立可复用组件。新架构以 Quant Config、Method、Scheme、Kernel 四层划分,使 AWQ、GPTQ、Compressed-Tensors 等检查点格式可共享同一后端内核,并支持 CUDA、Ascend NPU、CPU 等硬件独立演进。

7月27日周一
  1. BAIR:Berkeley AI Research Blog51

    ABBEL:通过信念瓶颈提升LLM长程交互中的摘要学习效率

    BAIR提出ABBEL框架,将长程交互中的摘要生成隔离为自然语言信念状态,并通过信念评分进行监督。在CollabBench协作编程测试中,基于重建的信念评分将全上下文模型的性能差距缩小约50%,训练步数减少50%。该方法解决了递归摘要(如Cursor Composer 2.5采用的压缩技术)在有限训练数据下性能下降的问题。

  2. Modal 官方工程博客78

    Moonshot 发布 2.8T 参数开源多模态模型 Kimi K3,Modal 实现发布当天 460 tokens/s 推理

    Moonshot 发布 Kimi K3,总参数 2.8T、每 token 激活 16/896 专家,支持 1M token 上下文窗口和原生视觉。Modal 与 Moonshot、vLLM 合作提供 Day 0 支持,通过定制的 DFlash 投机解码模型将智能体负载交互速度从 100 提升到 460 tokens/s,吞吐从 800k 提升到 1.5M TPM/GPU。

    推荐理由:Modal 作为发布当天的托管方,给出了 K3 架构细节与推理加速数据,读者可据此评估运行这级开源模型的工程门槛。

7月26日周日
7月25日周六
  1. Anthropic:Newsroom92

    Anthropic 发布 Claude Opus 5

    Anthropic 发布 Claude Opus 5,其智能水平接近 Claude Fable 5,但价格减半。该模型在 Frontier-Bench v0.1 上性能超过 Opus 4.8 两倍以上,在 ARC-AGI 3 上得分是次优模型的三倍。Opus 5 即日起成为 Claude Max 的默认模型和 Claude Pro 的最强模型。

    推荐理由:Anthropic 这次把 Opus 的性价比条拉满了,性能翻倍价格减半,实际编码和知识工作基准已经超越所有模型。最打动我的是它自查自纠的严谨,写代码像真开发者一样审自己的页面,这种责任心以前只在人身上见过。

7月24日周五
  1. Apple Machine Learning Research51

    Apple 提出 LEAD 方法,破解长程推理中的“不可恢复瓶颈”

    Apple 研究发现,大语言模型在长程执行中即使有高层策略也不稳定,极端分解会导致“不可恢复瓶颈”——少数“困难”步骤上的持续错误变得不可逆转。为此提出 Lookahead-Enhanced Atomic Decomposition(LEAD),通过引入短程未来验证与聚合来打破这一瓶颈。该方法在受控算法谜题上验证了有效性。

  2. 蚂蚁百灵:Developer Blog55

    蚂蚁百灵发布 Ling-3.0-flash:124B 总参数、5.1B 激活参数,智能密度超越 1T 级旗舰

    蚂蚁百灵正式发布新一代原生混合推理模型 Ling-3.0-flash,总参数 124B、激活参数仅 5.1B。该模型以极致智能密度对标并超越上一代 1T 级旗舰思考模型 Ring-2.6-1T。

    推荐理由:蚂蚁把124B模型的激活参数压到5.1B,还敢对标上代1T旗舰,如果实测不翻车,这个智能密度对端侧和低成本部署是个真信号。

7月23日周四
  1. a16z:News53

    如何赢得AI领域最大的市场

    AI推理正成为计算机史上最大的工作负载,其需求呈垂直增长。与训练的一次性资本支出不同,推理是随用量线性增长的运营成本,而通用GPU并非最优。历史规律表明,专用硬件将凭借更高的token每瓦特效率赢得市场。

  2. 英国 AI Security Institute:Blog65

    UK AISI 与 CAISI 联合评估 Kimi K3 网络安全能力,显著低于前沿模型但超过 GLM-5.2

    UK AISI 与 CAISI 对 Moonshot AI 于 2026 年 7 月 16 日发布的 Kimi K3 进行联合网络安全能力评估。在 ExploitBench 上 Kimi K3 得分 32%,高于 GLM-5.2 的 24%,但未能在 41 个样本中实现任意代码执行(ACE),最前沿美国模型平均可达 20/41。

    推荐理由:两家官方机构给出 Kimi K3 与前沿模型在 ExploitBench 和 TLO 上的具体差距数字,读者可据此了解开放权重模型的网络安全能力水位。

7月22日周三
  1. Apple Machine Learning Research55

    CalibAtt:无需训练的稀疏注意力方法,将文生视频速度提升至 1.58 倍

    Apple 与特拉维夫大学联合提出 CalibAtt,一种无需训练的校准稀疏注意力方法,通过离线识别 token 间可跳过的低分连接并编译为优化操作,在推理时跳过无关计算。在 Wan 2.1 14B、Mochi 1 及少步蒸馏模型上,CalibAtt 实现最高 1.58 倍端到端加速,在保持视频质量和文本-视频对齐的同时优于现有免训练方法。

7月21日周二
  1. Apple Machine Learning Research49

    Apple 提出 Length Value Model (LenVM):token 级长度建模框架

    Apple 研究团队提出 LenVM,一种在每步解码时预测剩余生成长度的 token 级框架,将长度建模转化为无需标注的价值估计问题。在 LIFEBench 精确长度匹配任务上,LenVM 将 7B 模型的长度分数从 30.9 提升至 64.8,超越前沿闭源模型;在 GSM8K 上以 200 token 预算维持 63% 准确率(基线仅 6%)。

7月18日周六
  1. Apple Machine Learning Research50

    Apple 研究:Show Me Examples — 从图像集推断视觉概念

    Apple 机器学习研究团队提出一种方法,让视觉语言模型(VLM)仅从图像集示例中推断视觉概念,无需文本指令。该方法通过对比示例图像与候选图像,使模型捕捉颜色、纹理等视觉规律,在多个概念推理基准上提升准确率。该研究目前为学术论文,未公布模型或 API 可用性。

7月17日周五
  1. Moonshot AI:Kimi Blog81

    Kimi K3 发布:2.8T 参数开源模型,具备原生视觉与百万 token 上下文窗口

    月之暗面发布 Kimi K3,一个 2.8T 参数的开源模型,采用 Kimi Delta Attention 和 Attention Residuals 架构,支持原生视觉能力与 100 万 token 上下文窗口。

    推荐理由:首个开源 3T 级模型,架构上有 KDA 和 AttnRes 创新,在超长程编码和知识工作上比肩闭源。权重两周后放出,所有做 agent 的都该盯紧。

7月16日周四
  1. Apple Machine Learning Research40

    Apple 提出 CLaRa:用连续潜在推理桥接检索与生成

    Apple 机器学习研究团队提出 CLaRa,一种通过连续潜在推理桥接检索与生成的新方法。该方法在检索增强生成(RAG)中引入连续潜在空间,使模型在生成答案前先进行隐式推理,从而缓解长上下文带来的性能下降。CLaRa 在多个知识密集型基准上提升了 LLM 的准确率与效率。