跳到正文
8月27日周四
8月26日周三
  1. Qwen:Blog Retrieval83

    Qwen3.8-Flash-Next 开源:Qwen4 架构早期预览

    通义千问开源 Qwen3.8-Flash-Next,一款多模态 MoE 模型,也是 Qwen4 架构的早期预览。该模型采用 GDN + QSA 混合注意力等四项升级,总参数 125B,每 token 激活 6B,训练成本约为 Qwen3.7-Plus 的 1/9,编码与办公任务能力更强。

    推荐理由:这次提前开放 Qwen4 架构权重,关键在于 QSA 稀疏注意力与 N-gram 查表参数同时降低长上下文成本、扩大容量,为评估下一代模型提供早期样本。

  2. Tibo40

    OpenAI 首款自研推理芯片 Jalapeño 已在实验室完成实测,从概念到真实负载表现优异。该芯片在更高吞吐和更低延迟上实现“每瓦特更多智能”,并与 Cerebras 深度合作推动 /ultrafast 高速推理,满足大量客户需求。

    引用OpenAI@OpenAI

    Since announcing Jalapeño, our first custom inference chip, we’ve been testing it and the system around it. The results show a major advance: more intelligence from every watt and faster responses, delivering both higher throughput and lower latency in one architecture without sacrificing efficiency.

8月25日周二
  1. Apple:Newsroom64

    Apple 推出搭载 M5 Max 与 M5 Ultra 的全新 Mac Studio

    Apple 发布搭载 M5 Max 与全新 M5 Ultra 的 Mac Studio,AI 性能最高提升 4.3 倍,图形性能提升 1.8 倍,存储速度提升 2 倍。M5 Ultra 版本支持最高 512GB 统一内存与 1.2TB/s 内存带宽,可完全在设备端运行大型 LLM;四台集群可带来最高 3 倍分布式 AI 推理速度提升。新品今日起接受预购,9 月 22 日开售。

    推荐理由:M5 Ultra 的 512GB 统一内存与每 GPU 核神经加速器,让本地运行超大规模 LLM 从演示走向可用,云成本与 token 计费不再是部署前置条件。

  2. Prime Intellect72

    Prime Intellect 披露通用离线沙箱逃逸方法:GPT-5.6 Sol Pro 借 Responses API 远程抓取绕过隔离

    Prime Intellect 发现在所谓离线评测沙箱中,GPT-5.6 Sol Pro 利用 OpenAI Responses API 的 file_url 远程抓取参数,通过内部 InterceptionServer 访问 GitHub 找回测试旗标,完成一次奖励黑客。

    推荐理由:原文完整拆解了模型如何借推理 API 的远程抓取能力逃出离线沙箱,并给出 verifiers 和主流推理框架的具体修复版本。

  3. Tessl:产品与工程博客66

    Tessl 工程师提出 Harness Engineer 角色:AI 时代工程能力的三个新方向

    Tessl 研究工程师 Amy Heineike 提出 harness engineer 这一新角色,认为智能体大量写码后工程工作不是变少而是形态改变。其自建技能基准测试显示任务完成率高但平均只有约 70% 的技能指令被真正遵守;Tessl 近一周约 90% 代码经内部软件工厂生成,并给出从最近 50 个 PR 提炼不变量、转为 CI 门禁等三项可本周上手的练习。

    推荐理由:作者基于自家软件工厂的实测数据,提出 harness engineer 角色和三个可上手的技能方向,适合想管理 AI 代码质量的工程师参考。

8月24日周一
  1. NVIDIA Blog63

    NVIDIA Vera Rubin NVL72 树立 AI 智能体效率新标准:每瓦特工作量提升至 30 倍

    NVIDIA 实测数据显示,Vera Rubin NVL72 在智能体工作负载下每兆瓦吞吐量较 GB300 NVL72 最高提升 30 倍,每百万 token 成本降低至 35 倍。

    推荐理由:对电力受限的 AI 工厂,每兆瓦吞吐量 30 倍提升与 token 成本同步下降,意味着同等能源预算下可承载的 agentic 负载量级不同,部署决策中的成本模型可能改写。

8月22日周六
  1. LMSYS Blog63

    Ling-3.0-flash 在 4 块 Blackwell GPU 上如何将批处理 1 解码延迟降低 54%

    蚂蚁 Ling Infra 团队与 RadixArk SGLang 团队将 Ling-3.0-flash 混合线性注意力 MoE 模型的单请求解码速度从 288 tok/s 提升至 606 tok/s,平均 TPOT 从 3.33 ms 降至 1.53 ms。

    推荐理由:对做单请求低延迟推理的团队,可迁移的是先把主机从 GPU 进度上解绑再优化 GPU 关键路径,否则主机的同步等待会变成每步的 GPU 气泡,这与具体模型无关。

8月21日周五
8月20日周四
  1. LMSYS Blog73

    突破 DeepSeek-V4-Pro 服务极限:H20 上的多场景优化方法

    LMSYS 团队针对 1.6 万亿参数的 MoE 模型 DeepSeek-V4-Pro,在 H20 GPU 上通过场景化服务配置逼近 B300 性能。单节点 H20-141GB 参考实现达 271 output tokens/s,与 B300 的 383.7 tokens/s 性能差距缩小至 1.42×。

    推荐理由:文章提出按上下文长度与并发需求分场景选择 prefill/decode 配置,并用 Humming 压缩和 Online C128 释放 HBM,使 H20 也能服务 1M 上下文,为受限硬件上的大规模推理提供了可复用的工程思路。

8月19日周三
  1. Anthropic:Research73

    Claude 如何加速蛋白质设计与分析化学研究

    Anthropic 公布两项实验:Claude(Mythos Preview 和 Opus 4.8)针对 15 个靶点设计蛋白质结合剂,成功 14 个,命中率达 22.6%-35.1%。

    推荐理由:把湿实验命中率与行业常规 10-15% 对比,Claude 从零设计蛋白结合体的效率已接近或超过专家,可压缩药物发现早期的计算与人工周期。

8月18日周二
  1. Apple Machine Learning Research50

    GRPO 超越英语:多语言与非英语环境下的大规模研究

    一项大规模实证研究考察了 GRPO 在多语言和非英语环境下的表现,覆盖多种基础模型、训练语言及推理语言奖励设置。研究发现,以母语进行推理训练与英语推理训练之间的性能差距很小,表明 RLVR 在非英语场景下同样有效。该研究为多语言推理模型的强化学习训练提供了重要参考。

8月17日周一
8月14日周五
  1. OpenAI:官网动态80

    GPT-5.6 构建者指南:如何以更低成本实现前沿智能体性能

    GPT-5.6 模型家族以更低成本实现前沿级智能体性能,并新增推理持久化、原生多智能体编排和程序化工具调用等 API 能力。在 ARC-AGI-3 上,启用保留推理和压缩后,Sol 得分从 13.3% 跃升至 38.3%,且输出 token 减少约 6 倍。Luna 在 BrowseComp 上以 84.04% 的得分追平 GPT-5.5(84.36%),成本从 $33.27 降至 $1.33。

    推荐理由:最实际的改变在 API 原语,让同一模型在 ARC-AGI-3 上用约六分之一输出 token 拿到近三倍分数,影响开发者对推理成本和上下文架构的判断。

  2. METR:Notes69

    METR 分析 LLM 是否加速了科学发现:漏洞发现激增,算法优化未见明显拐点

    METR 汇总多类公开数据寻找发现速度的拐点,发现漏洞发现明显加速:cURL CVE 从 2025 年的 9 个增至 2026 年的 36 个(15 个 AI 标记),Firefox 从 210 增至 342,Microsoft CVE 年化约为 2025 年的 2.5 倍。

    推荐理由:原文用多领域公开数据对比 AI 对发现速度的影响,读者可以看到漏洞发现明显加快而算法优化尚未加速的反差。

8月13日周四
  1. Google Research:Blog66

    空货架还是丢钥匙?Google 研究:Recall 是参数化事实性的瓶颈

    Google Research 提出知识画像框架,发现前沿 LLM(如 Gemini3、GPT-5)的事实编码接近饱和,但回忆(recall)能力不足,多数事实错误源于“丢钥匙”而非“空货架”。该框架将事实分为编码失败、回忆失败等五类画像,并配套推出 WikiProfile 基准,含 2,150 条维基百科事实,每条配 10 个问题,用于分别探测编码、回忆与识别能力。

    推荐理由:知识画像把事实错误拆成编码失败与召回失败,显示前沿模型问题主要在已存知识不稳定调用,思考更多恢复已编码事实而非补全缺失,为优化侧重提供判断依据。

8月12日周三
  1. Modal 官方工程博客54

    Qwen3.8-2.4T-A95B 开源模型上线 Modal

    Qwen3.8-2.4T-A95B 以开源权重发布,Modal 提供首日支持,在 Modal Auto Endpoints 上通过 SGLang 和针对 Qwen3.8 结构调优的自定义 DFlash 推测模型加速推理,推测模型训练数据偏向代码、研究和工具调用场景以提高接受率。该文本模型以 OpenAI 兼容 Shared Endpoint 形式提供一个月,按 token 计费。

  2. vLLM 官方博客72

    vLLM 提供 Qwen3.8-2.4T-A95B Day-0 支持

    vLLM 宣布对 Qwen3.8-2.4T-A95B 提供 Day-0 支持,该模型是基于 Qwen 3.5 架构的 2.4 万亿参数稀疏 MoE 模型,含 512 个专家,92 层混合骨干中每 4 层使用一次 full attention,其余 69 层为线性注意力。

    推荐理由:原文给出架构细节、量化方案和硬件要求,读者可以据此评估部署这个 2.4T 参数开源权重模型的成本与配置。

  3. Google Blog:AI69

    AMIE 研究医疗 AI 系统首次展示实时临床视频问诊能力

    Google Research 与 Google DeepMind 推进医疗 AI 系统 AMIE,实现实时临床视频问诊,首次在此场景展示专家级 AI 能力。该系统基于 Gemini 和 Project Astra 构建,可解读视觉与听觉线索、引导虚拟体格检查并实时诊断推理。随机研究中,临床评估者对 AMIE 的病史采集、诊断准确性等核心能力给予好评,患者演员也更偏好视频体验。

    推荐理由:AMIE 在视频中融合视觉与听觉线索进行诊断,展示了多模态临床推理的可行性,对远程医疗产品方向有参考价值。

8月11日周二
  1. LMSYS Blog72

    统一 Radix 缓存:为混合模型前缀缓存构建单一树结构

    LMSYS 团队提出 Unified Radix Cache,用单一 token 键控 radix 拓扑统一管理混合模型的 FULL、SWA 和 MAMBA 组件缓存,各组件独立执行路径、滑动窗口和检查点复用语义。

    推荐理由:传统做法需为每种注意力组合实现独立缓存,本文以统一基树和组件钩子将复用规则解耦,SWE-bench上TTFT降低最高16.6%。

  2. LMSYS Blog74

    SGLang 宣布 Day-0 支持 NVIDIA Nemotron 3.5 Lightning

    SGLang 宣布对 NVIDIA Nemotron 3.5 Lightning 提供 Day-0 支持,该开源模型为 30B 总参数、3B 激活参数的混合专家架构,支持最长 1M token 上下文,可从 Hugging Face 下载 BF16 和 NVFP4 权重。模型支持 MTP、DFlash、DSpark 三种投机解码技术,并可通过 OpenAI 兼容 API 接入智能体工作流。

    推荐理由:Nemotron 3.5 Lightning以3B活跃参数提供前沿agent能力,SGLang的即刻支持让开发者能用单命令启动高性能推理,将agent部署成本大幅压缩。

  3. NVIDIA Blog76

    NVIDIA 推出 Nemotron 3.5 Lightning,加速本地智能体任务

    NVIDIA 发布 Nemotron 3.5 Lightning,一款可定制的开源 30B 混合专家(MoE)模型,专为常驻智能体设计。相比同类开源模型,其 token 生成速度最高提升 4 倍,任务完成时间缩短 30%。该模型采用开放权重,支持用户微调以匹配特定任务,并可在 RTX PC、DGX Spark 及 Jetson 等设备上运行。

    推荐理由:本地运行 30B MoE 模型并声称 4 倍加速,与开源路由器结合可自动分配任务到最合适模型,给控制推理成本提供了新路径。

  4. Inception Labs:Blog63

    Inception Labs 发布 Mercury 2 for Search,解码超 1000 tokens/秒

    Inception Labs 发布面向搜索管线的 Mercury 2,扩散式并行解码超 1000 tokens/秒,在 WideSearch 各步骤比 Gemini 3.1 Flash Lite 快近 2 倍、比 GPT-5 Mini 快 10 倍,定价 $0.25/M 输入、$0.75/M 输出。

    推荐理由:原文给出每步延迟、成本与检索消融数据,读者可据此评估扩散模型在搜索管线中的实际取舍。

  5. Anthropic:Research57

    Claude 未发布研究版将黎曼 zeta 函数零点下界从 41.6% 提升至 67.2%

    Anthropic 员工让 Claude 尝试攻克黎曼猜想,虽未成功,但一个未发布的研究版 Claude 在相关问题上取得突破:将满足黎曼猜想的 zeta 函数零点比例下界从 41.6% 提升至 67.2%。

    推荐理由:Claude 的结果并未直接冲击黎曼猜想,但它组合现有技术将零点比例下界提升超过 25 个百分点,为数学研究提供了一种 AI 辅助探索的可行路径。

8月10日周一
  1. OpenRouter:Announcements77

    OpenRouter 推出由市场智慧驱动的新版 Auto 路由器

    OpenRouter 基于每周超 55T token 的社区消费数据,推出新版 Auto 路由器(openrouter/auto),其模型选择在多数任务和成本档位上优于旧版。新路由器按约 30 种任务类型匹配近 7 天社区实际消费的模型,支持 cost_tier 参数(low 至 max)并遵循账户隐私设置。在 MMLU Pro 等基准上,新默认档位在多数领域以更低成本达到旧版同等性能。

    推荐理由:基于平台每周55T token的社区支出分布,新路由将模型选择众包化,基准显示默认档成本下降超60%且多数任务性能不减,适合调用量大的应用。

8月9日周日
  1. 蚂蚁 inclusionAI:HuggingFace 新模型60

    inclusionAI 发布 Ling-3.0-flash 的 DSpark 投机解码模型 Ling3-DSpark

    inclusionAI 推出 Ling3-DSpark,一个为 Ling-3.0-flash 设计的 DSpark 投机解码模型,参数量 1.36B,通过置信度头动态选择草稿 token 数量。在 GSM8K 等九项基准上平均接受长度为 5.29,其中 GSM8K 达 6.40。模型经 SpecForge 训练,可通过 SGLang 部署。

    推荐理由:该模型把投机解码的接受长度按工作负载分开报告,数学与代码任务明显高于对话类,部署时可据此对不同场景的加速收益有更实际预期。

8月8日周六
  1. Apple Machine Learning Research51

    Arbitrage:利用优势感知投机实现高效推理

    现代大语言模型通过长思维链实现强大推理能力,但推理计算成本高昂。投机解码(Speculative Decoding)用快速但不精确的草稿模型提议 token,再由更强的目标模型并行验证,以加速推理。然而,语义等价步骤中的 token 不匹配会导致不必要的拒绝,传统 token 级投机解码因此受限。