跳到正文
8月10日周一
8月8日周六
  1. LMSYS Blog76

    HPC-Ops × SGLang:腾讯混元开源高性能 Attention、Router GEMM 与 MoE 算子

    腾讯混元开源算子库 HPC-Ops 已集成至 SGLang 主分支,其 Dynamic Attention 与 Fused MoE 在 Hy3 模型上最高降低 TPOT 48.8%。

    推荐理由:HPC-Ops 集成到 SGLang,带来生产验证的负载均衡 Attention 和精度感知 Router GEMM,实测 Hy3 TPOT 降幅最高 48.8%,为 MoE 低延迟服务提供了可直接使用的开源优化。

8月7日周五
  1. 通义 QwenAudio:原创语音项目62

    QwenAudio Toolkits 发布公开预览,打造 Agent 驱动的本地音视频创作工作台

    QwenAudio Toolkits 是一款本地优先的桌面工作台,定位为对话式 Agent 驱动的音视频创作 IDE,首个公开预览支持 Apple Silicon、macOS 14.2 及以上版本。

    推荐理由:官方文档给出了能力清单、支持范围和隐私边界,读者可以据此评估这款本地音频 AI 工作台是否适合自己的创作流程。

8月6日周四
  1. NVIDIA Blog71

    NVIDIA Cosmos 3:开放世界模型如何推动物理 AI 前沿

    NVIDIA 发布 Cosmos 3,一个基于混合 Transformer 架构的开放物理 AI 基础全模态模型,整合视觉推理、世界生成与动作预测。

    推荐理由:介绍 Cosmos 3 作为开放物理 AI 基础模型的架构、基准表现和行业用例,为需要定制世界模型的机器人、自动驾驶和视觉 AI 团队提供了可直接参考的技术路线。

8月5日周三
  1. LMSYS Blog72

    SpecForge v0.3.0 发布:统一解耦与共置投机解码栈,新增开放 SpecBundle 草稿模型

    SpecForge v0.3.0 将目标模型推理与草稿模型训练分离,支持 EAGLE3、EAGLE3.1、P-EAGLE、DFlash、Domino、DSpark 等多种投机解码算法,并统一在线、离线与解耦工作流。

    推荐理由:将目标模型推理与草稿模型训练分离,让两种工作负载可独立扩缩,改变了投机解码训练中资源配比必须硬编码的旧模式,资源规划可按模型和序列长度灵活调整。

  2. Prime Intellect72

    Prime Intellect 开源发布自改进编码智能体 Prime Agent

    Prime Intellect 发布开源编码智能体 Prime Agent,围绕递归语言模型(RLM)和 Continual Harness 两个抽象构建,以持久 IPython 内核作为唯一工具,让模型以编程方式调用子智能体并对提示词、技能、记忆和子智能体做增删改查,通过 /refine 从自身轨迹中持续改进 harness。

    推荐理由:原文详述 RLM 与 Continual Harness 两个核心抽象及长上下文、游戏等实测结果,读者可据此评估这种可自我改进的 harness 设计是否值得接入自己的工作流。

  3. LMSYS Blog53

    SGL-Diffusion 全栈性能优化:用 SRT 替换 HF 后端加速 AR+DiT 混合生成

    SGL-Diffusion 通过三项 PR 将 AR+DiT 混合生成从单体架构重构为异构分布式系统。用 SRT 替换 HF 后端并解耦 AR 与 DiT,使 AR 阶段在 4 卡 TP 下延迟从 122.8 秒降至 26.1 秒(-78.8%),端到端延迟降低 77.2%。动态批处理与提前返回机制提升并发吞吐,DiT 采用每设备单去噪器的 SP 并行,并通过缓冲 AR 结果实现流水线重叠。

8月4日周二
  1. NVIDIA Blog62

    NVIDIA 开源 cuFile API,推动 GPU 直连存储

    NVIDIA 在 FMS 大会上宣布开源 cuFile API 及底层存储软件栈,让 GPU 可直接读写存储,访问延迟降至微秒级。其 Vera CPU 在两级压缩与加密流水线中吞吐量比 x86 CPU 最高提升 3.21 倍,并联合 40 多家厂商推出 Storage-Next 计划。

    推荐理由:cuFile 开源让 GPU 直存访问成为可跨平台协作的开放标准,这会改变 AI 基础设施团队评估存储架构的方式,不再只绑定单一厂商的实现。

  2. NVIDIA Blog68

    NVIDIA Alpamayo 2 Super 开放商用,面向 Robotaxi 与自动驾驶的前沿开源模型

    NVIDIA Alpamayo 2 Super 现已开放商用,基于 Cosmos 3 Super Reasoner 构建,采用强化学习后训练,支持轨迹预测、因果链推理、元动作、自动标注及视觉问答等多任务输出。

    推荐理由:开放商业许可与可解释推理输出结合,自动驾驶团队能直接审查模型决策链,为安全验证提供透明度,降低从研发到商用部署的转换成本。

  3. Mistral AI:News63

    Mistral 开源 3B 多模态安全分类器 Shieldstral,支持推理时自定义政策无需重训

    Mistral 发布 3B 开源权重多模态安全分类器 Shieldstral,以 Apache 2.0 协议开放下载。它把内容审核建模为政策自适应问答任务,推理时用自然语言问题传入政策即可返回校准的安全分数,无需重训练,统一覆盖文本、图像及 prompt-response 对的审核、拒答检测和毒性检测。

    推荐理由:原文给出了把内容审核改为推理时自适应问答的方法、数据构建思路和基准表现,适合想自建安全审核方案的开发者参考。

  4. Cloudflare Blog69

    Cloudflare 如何用软件工厂将 Astro 的 GitHub issue 数降至零

    Cloudflare 在 Astro 仓库上运行自动化 triage 流水线,通过隔离的 AI 子代理复现、诊断并修复 bug,将开放 issue 从 200 多个降至约 30 个,预计下月归零。该流水线由 issue 标签驱动,修复后自动发布预览版本供用户验证。其底层引擎已发展为 Flue,一个开源的平台无关框架,用于构建持久化智能体与工作流。

  5. Microsoft Research 博客82

    微软开源 Orchard 框架:30亿参数小模型在 SWE-bench 达 73%

    微软研究院发布开源框架 Orchard,旨在解决智能体(Agent)研究中的基础设施瓶颈。核心组件 Orchard Env 提供可复用的 Kubernetes 环境服务,支持在 Codex、OpenClaw 等真实部署环境中直接训练和评估智能体。项目发布了针对软件工程、网页导航和个人助手的三个训练配方及数据。其中,仅约 30 亿活跃参数的 Orchard-SWE 模型在 SWE-bench Verified 基准上达到 69.7%(结合价值模型重排序可达 73.0%),性能接近参数量大 10 倍的前沿系统,展示了小模型在复杂现实任务中的潜力。

    推荐理由:微软开源了完整的智能体训练与评估基础设施,并证明了小参数模型通过特定训练策略可在高难度代码修复基准上逼近前沿大模型,对降低 Agent 研发门槛有重要参考价值。

  6. Liquid AI 模型与工程博客70

    Liquid AI 发布端侧智能体模型 LFM2.5-2.6B

    Liquid AI 发布 LFM2.5-2.6B,一个可完全在设备端运行的 2.6B 参数智能体模型,预训练约 34T tokens,词表扩展至 128K,Base 和 post-trained 权重已在 Hugging Face 开放。

    推荐理由:原文给出了训练流程、基准对比和 CPU/GPU 吞吐数字,读者可以据此评估端侧智能体部署的可行性与取舍。

8月3日周一
8月1日周六
  1. Thinking Machines Lab:官方博客72

    Thinking Machines Lab 阐述开源权重模型的安全开放路径

    Thinking Machines Lab 发布博客,提出安全开放权重的框架,核心是同时评估模型本身与其进入的生态系统。该框架基于其近期发布的开源权重模型 Inkling 和 Inkling-Small,包含内部安全评估、四家机构外部红队测试和对抗性微调研究,结论是两款模型未超出既有开源权重模型的危险能力边界。

    推荐理由:Thinking Machines 以自家开源模型 Inkling 的评估为例,提出分阶段开放权重的安全框架,对关心开源安全边界的从业者有参考价值。

7月31日周五
  1. MiniMax:Blog78

    MiniMax H3 发布:开源全能多模态生成模型,支持 2K 原生立体声视频

    MiniMax 正式推出全能多模态生成模型 H3,可联合理解文本、图像、视频和音频,生成最高 2K 分辨率、15 秒时长且带原生立体声的视频。H3 在指令跟随、文字与品牌呈现、V2V 动作迁移上表现突出,2K 下每秒价格低于主流模型三分之一,768p 下低于主流 720p 价格一半。官方计划近日开源模型权重,以支持开源社区并加速硬件兼容。

    推荐理由:MiniMax H3 把全模态生成打到了 2K 分辨率且价格不到主流三分之一,还计划开源权重,这对闭源视频模型是实打实的压力,开发者可以重点关注。

  2. Microsoft Research 博客60

    Microsoft Research 发布 Echoverse:面向 computer-use agent 的深度可演化训练环境

    Microsoft Research 推出 Echoverse,为 computer-use agent 构建了 12 个合成训练世界(10 个深度领域世界和 2 个能力世界),9B 模型训练后在全部环境上平均分从 36.5% 升至 67.1%,与 GPT-5.4(80.7%)相差 14 个点。

    推荐理由:原文给出深度世界对比浅层世界的实验数据和可复用的环境构建方法,并开源了四个世界,读者可据此评估训练环境的做法。

7月30日周四
  1. LMSYS Blog61

    RadixArk 与 Google Cloud 合作,将完整 SGLang 功能引入 TPU

    RadixArk 与 Google Cloud 合作,将开源推理框架 SGLang 引入 Google TPU,开发者可通过 SGL-JAX 在最新 TPU 上运行 Gemma、Qwen、DeepSeek 等大语言模型及多模态模型。

    推荐理由:SGLang 正式登陆 TPU,推理框架的硬件自由终于实现,选 GPU 还是 TPU 从此只看性价比不看兼容性,做推理服务的团队可以重新算账了。

7月29日周三
  1. Together AI 研究与产品博客65

    Together AI 与月之暗面达成战略合作,原生托管 Kimi K3 及后续开源模型

    Together AI 宣布与 Moonshot AI 达成战略合作,成为其模型发布平台,Kimi K3 已上线并可零日访问,未来 Moonshot 每个开源权重模型都将在 Together 首发。

    推荐理由:作者作为合作方说明 K3 的架构要点和托管选项,读者可据此评估开源前沿模型在生产环境的可用路径。

7月28日周二
  1. Liquid AI 模型与工程博客65

    Liquid AI 发布 LFM2.5-Encoder-230M 与 350M 双向编码器,长上下文下 CPU 推理最快

    Liquid AI 发布 LFM2.5-Encoder-230M 和 LFM2.5-Encoder-350M 两个基于 LFM2 混合架构的双向编码器,支持 8,192 token 上下文,已在 Hugging Face 开放下载。

    推荐理由:原文给出双向编码器的架构改动、17 项任务微调评测和长上下文 CPU 吞吐对比,读者可以据此评估其在边缘和本地部署中的适用性。

7月27日周一
  1. NVIDIA Blog61

    NVIDIA 等多家行业领袖联合成立 Open Secure AI Alliance,推动 AI 安全与防御开源化

    NVIDIA、Microsoft、Hugging Face、IBM 等数十家机构联合成立 Open Secure AI Alliance,旨在通过开源模型、工具和框架构建可审查、可定制的 AI 安全防御体系。

    推荐理由:NVIDIA拉上微软、IBM等三十多家公司成立了这个安全联盟,虽然现在只是一纸宣言,但它给‘开放模型更能打’撑腰,对搞安全的同学是个风向标,建议留意后续动作。

  2. Modal 官方工程博客78

    Moonshot 发布 2.8T 参数开源多模态模型 Kimi K3,Modal 实现发布当天 460 tokens/s 推理

    Moonshot 发布 Kimi K3,总参数 2.8T、每 token 激活 16/896 专家,支持 1M token 上下文窗口和原生视觉。Modal 与 Moonshot、vLLM 合作提供 Day 0 支持,通过定制的 DFlash 投机解码模型将智能体负载交互速度从 100 提升到 460 tokens/s,吞吐从 800k 提升到 1.5M TPM/GPU。

    推荐理由:Modal 作为发布当天的托管方,给出了 K3 架构细节与推理加速数据,读者可据此评估运行这级开源模型的工程门槛。

  3. vLLM 官方博客75

    vLLM 发布 Kimi K3 Day-0 支持:2.8T 混合 MoE 的部署指南与性能数据

    vLLM 官方宣布 Day-0 支持 Kimi K3,这是一个 2.8 万亿参数的 MoE 模型(每 token 激活 896 专家中的 16 个),基于 Kimi Delta Attention 与 Attention Residuals,支持 1M token 上下文窗口和原生视觉。

    推荐理由:vLLM 团队亲述 Day-0 支持 Kimi K3 的工程细节与部署配方,读者可以据此判断混合线性注意力模型在实际服务中的可行路径。

7月26日周日
7月23日周四
  1. Together AI 研究与产品博客57

    Together AI 发布 Dedicated Model Inference 推理平台重大更新并开放定制训练 beta

    Together AI 对其推理平台发布重大更新,支持单端点挂多部署、canary/蓝绿/滚动更新与自动回滚、A/B 和 shadow 测试、多区域自动扩缩,并重建模型缓存层使预热启动约提速 4 倍。同时宣布定制训练封闭 beta,涵盖全参数与 LoRA 强化学习及监督微调,checkpoint 可直接部署到推理平台,8 月 6 日将举办深度讲解网络研讨会。

7月22日周三
  1. Prime Intellect64

    Prime Intellect 整合 23 个任务集,提供超 365,000 个智能体 RL 环境

    Prime Intellect 发布 research-environments,通过 verifiers v1 的 taskset API 将 SWE、终端和搜索三类共 23 个任务集统一到一套运行时和沙箱钩子下,总计约 365,000 个任务,包括约 198,000 个软件工程任务、约 28,600 个终端任务和约 137,600 个搜索任务。

    推荐理由:原文给出 23 个任务集统一为一套 API 的整合方法,以及 gold patch 验证和 reward hack 防护的具体做法,可复用于 RL 环境搭建。

7月21日周二
  1. Modal 官方工程博客61

    Modal 与 Cognition 推出 Devin Outposts,AI 工程师可在自有 Sandbox 中执行任务

    Cognition 推出 Devin Outposts,让 AI 软件工程师 Devin 的执行环境迁移到用户自控环境,推理仍留在 Cognition 云端;Modal 是启动合作伙伴,7 月 21 日起开放 alpha。

    推荐理由:官方发布方介绍了 Devin 执行环境迁入自有 Modal Sandbox 的方式,GPU 按需启动和会话快照是可对比的实际能力变化。

7月20日周一
  1. Ollama:Blog73

    Ollama 获 8800 万美元融资,加速开放模型生态发展

    Ollama 宣布完成 8800 万美元融资,由 Benchmark、Theory Ventures 和 8VC 等领投。该平台已服务 890 万开发者,并被 85% 的财富 500 强企业使用,其云端 token 用量月均翻倍。资金将用于支持无缝混合推理、新模型发布当日集成,以及让开发者在不牺牲所有权和隐私的前提下使用最强开放模型。

    推荐理由:Ollama 拿到 8800 万美元融资,同时透露 85% 财富 500 强在用,月 token 量翻倍。开放模型从玩具变成企业标配的信号越来越明显,想本地跑模型的开发者都绕不开它。

7月16日周四
  1. xAI:News77

    xAI 开源 Grok Build 编程智能体与终端界面

    xAI 已将 Grok Build 的源代码在 GitHub 上开源。Grok Build 是 SpaceXAI 的编程智能体与终端用户界面(TUI),开源后用户可自行编译并完全本地运行,指向本地推理引擎并通过 `config.toml` 配置。

    推荐理由:Grok Build 开源让 xAI 的编码智能体变成完全可定制、可本地运行的套件,对想自己拼装开发环境的工程师是个实锤福利,但社区能玩多大还得看后续。