NVIDIA 发布 Nemotron 3.5 Lightning,vLLM 提供 Day-0 支持
NVIDIA 与 vLLM 团队宣布 Nemotron 3.5 Lightning 开放模型上线,vLLM 提供 Day-0 支持。
NVIDIA 与 vLLM 团队宣布 Nemotron 3.5 Lightning 开放模型上线,vLLM 提供 Day-0 支持。
EleutherAI 与 Hugging Face 发布 FineBooks 项目首期成果 BHL OCR 排行榜,用 IMPACT 项目2011至2012年人工校对的 2,165 页 BHL 历史书籍转录(英法德拉丁语,约每两千字符一错)评测 14 个开源权重 OCR 模型。
OpenMOSS 团队发布开源具身任务智能体框架 OpenETA,把观察、决策、行动、验证组成物理世界闭环。框架拆分为 Agent、Interface、World 三个角色,一次只执行一个改变世界的动作并强制获取新观测。
Meta 的 Muse Glimmer 30B 稠密模型已在 Fireworks 上提供 serverless 和按需部署,主打多轮工具调用与失败恢复等常驻 Agent 场景。
推荐理由:原文给出了架构细节、Agent 基准对比和推荐运行配置,读者可以据此评估这款 30B 开源模型是否适合自己的多轮工具调用工作流。
腾讯混元开源算子库 HPC-Ops 已集成至 SGLang 主分支,其 Dynamic Attention 与 Fused MoE 在 Hy3 模型上最高降低 TPOT 48.8%。
推荐理由:HPC-Ops 集成到 SGLang,带来生产验证的负载均衡 Attention 和精度感知 Router GEMM,实测 Hy3 TPOT 降幅最高 48.8%,为 MoE 低延迟服务提供了可直接使用的开源优化。
QwenAudio Toolkits 是一款本地优先的桌面工作台,定位为对话式 Agent 驱动的音视频创作 IDE,首个公开预览支持 Apple Silicon、macOS 14.2 及以上版本。
推荐理由:官方文档给出了能力清单、支持范围和隐私边界,读者可以据此评估这款本地音频 AI 工作台是否适合自己的创作流程。
NVIDIA 发布 Cosmos 3,一个基于混合 Transformer 架构的开放物理 AI 基础全模态模型,整合视觉推理、世界生成与动作预测。
推荐理由:介绍 Cosmos 3 作为开放物理 AI 基础模型的架构、基准表现和行业用例,为需要定制世界模型的机器人、自动驾驶和视觉 AI 团队提供了可直接参考的技术路线。
SpecForge v0.3.0 将目标模型推理与草稿模型训练分离,支持 EAGLE3、EAGLE3.1、P-EAGLE、DFlash、Domino、DSpark 等多种投机解码算法,并统一在线、离线与解耦工作流。
推荐理由:将目标模型推理与草稿模型训练分离,让两种工作负载可独立扩缩,改变了投机解码训练中资源配比必须硬编码的旧模式,资源规划可按模型和序列长度灵活调整。
Prime Intellect 发布开源编码智能体 Prime Agent,围绕递归语言模型(RLM)和 Continual Harness 两个抽象构建,以持久 IPython 内核作为唯一工具,让模型以编程方式调用子智能体并对提示词、技能、记忆和子智能体做增删改查,通过 /refine 从自身轨迹中持续改进 harness。
推荐理由:原文详述 RLM 与 Continual Harness 两个核心抽象及长上下文、游戏等实测结果,读者可据此评估这种可自我改进的 harness 设计是否值得接入自己的工作流。
SGL-Diffusion 通过三项 PR 将 AR+DiT 混合生成从单体架构重构为异构分布式系统。用 SRT 替换 HF 后端并解耦 AR 与 DiT,使 AR 阶段在 4 卡 TP 下延迟从 122.8 秒降至 26.1 秒(-78.8%),端到端延迟降低 77.2%。动态批处理与提前返回机制提升并发吞吐,DiT 采用每设备单去噪器的 SP 并行,并通过缓冲 AR 结果实现流水线重叠。
NVIDIA 在 FMS 大会上宣布开源 cuFile API 及底层存储软件栈,让 GPU 可直接读写存储,访问延迟降至微秒级。其 Vera CPU 在两级压缩与加密流水线中吞吐量比 x86 CPU 最高提升 3.21 倍,并联合 40 多家厂商推出 Storage-Next 计划。
推荐理由:cuFile 开源让 GPU 直存访问成为可跨平台协作的开放标准,这会改变 AI 基础设施团队评估存储架构的方式,不再只绑定单一厂商的实现。
NVIDIA Alpamayo 2 Super 现已开放商用,基于 Cosmos 3 Super Reasoner 构建,采用强化学习后训练,支持轨迹预测、因果链推理、元动作、自动标注及视觉问答等多任务输出。
推荐理由:开放商业许可与可解释推理输出结合,自动驾驶团队能直接审查模型决策链,为安全验证提供透明度,降低从研发到商用部署的转换成本。
Mistral 发布 3B 开源权重多模态安全分类器 Shieldstral,以 Apache 2.0 协议开放下载。它把内容审核建模为政策自适应问答任务,推理时用自然语言问题传入政策即可返回校准的安全分数,无需重训练,统一覆盖文本、图像及 prompt-response 对的审核、拒答检测和毒性检测。
推荐理由:原文给出了把内容审核改为推理时自适应问答的方法、数据构建思路和基准表现,适合想自建安全审核方案的开发者参考。
Cloudflare 在 Astro 仓库上运行自动化 triage 流水线,通过隔离的 AI 子代理复现、诊断并修复 bug,将开放 issue 从 200 多个降至约 30 个,预计下月归零。该流水线由 issue 标签驱动,修复后自动发布预览版本供用户验证。其底层引擎已发展为 Flue,一个开源的平台无关框架,用于构建持久化智能体与工作流。
Linux 基金会发布共享 AI 事件交换(SAFE)指南征求意见稿,旨在将智能体网络安全事件转化为全生态共享防护。
微软研究院发布开源框架 Orchard,旨在解决智能体(Agent)研究中的基础设施瓶颈。核心组件 Orchard Env 提供可复用的 Kubernetes 环境服务,支持在 Codex、OpenClaw 等真实部署环境中直接训练和评估智能体。项目发布了针对软件工程、网页导航和个人助手的三个训练配方及数据。其中,仅约 30 亿活跃参数的 Orchard-SWE 模型在 SWE-bench Verified 基准上达到 69.7%(结合价值模型重排序可达 73.0%),性能接近参数量大 10 倍的前沿系统,展示了小模型在复杂现实任务中的潜力。
推荐理由:微软开源了完整的智能体训练与评估基础设施,并证明了小参数模型通过特定训练策略可在高难度代码修复基准上逼近前沿大模型,对降低 Agent 研发门槛有重要参考价值。
Liquid AI 发布 LFM2.5-2.6B,一个可完全在设备端运行的 2.6B 参数智能体模型,预训练约 34T tokens,词表扩展至 128K,Base 和 post-trained 权重已在 Hugging Face 开放。
推荐理由:原文给出了训练流程、基准对比和 CPU/GPU 吞吐数字,读者可以据此评估端侧智能体部署的可行性与取舍。
Cloudflare 在 Workers AI 上通过三项技术优化 Kimi K2.6 与 GLM 5.2 的推理效率:将 KV 缓存从 BF16 降至 FP8。
Cloudflare 发布 @cloudflare/computer 早期预览版,这是一个开源智能体运行时,为每个智能体提供虚拟文件系统,并支持在 isolate、容器沙箱或浏览器中执行代码。
Thinking Machines Lab 发布博客,提出安全开放权重的框架,核心是同时评估模型本身与其进入的生态系统。该框架基于其近期发布的开源权重模型 Inkling 和 Inkling-Small,包含内部安全评估、四家机构外部红队测试和对抗性微调研究,结论是两款模型未超出既有开源权重模型的危险能力边界。
推荐理由:Thinking Machines 以自家开源模型 Inkling 的评估为例,提出分阶段开放权重的安全框架,对关心开源安全边界的从业者有参考价值。
MiniMax 正式推出全能多模态生成模型 H3,可联合理解文本、图像、视频和音频,生成最高 2K 分辨率、15 秒时长且带原生立体声的视频。H3 在指令跟随、文字与品牌呈现、V2V 动作迁移上表现突出,2K 下每秒价格低于主流模型三分之一,768p 下低于主流 720p 价格一半。官方计划近日开源模型权重,以支持开源社区并加速硬件兼容。
推荐理由:MiniMax H3 把全模态生成打到了 2K 分辨率且价格不到主流三分之一,还计划开源权重,这对闭源视频模型是实打实的压力,开发者可以重点关注。
Microsoft Research 推出 Echoverse,为 computer-use agent 构建了 12 个合成训练世界(10 个深度领域世界和 2 个能力世界),9B 模型训练后在全部环境上平均分从 36.5% 升至 67.1%,与 GPT-5.4(80.7%)相差 14 个点。
推荐理由:原文给出深度世界对比浅层世界的实验数据和可复用的环境构建方法,并开源了四个世界,读者可据此评估训练环境的做法。
RadixArk 与 Google Cloud 合作,将开源推理框架 SGLang 引入 Google TPU,开发者可通过 SGL-JAX 在最新 TPU 上运行 Gemma、Qwen、DeepSeek 等大语言模型及多模态模型。
推荐理由:SGLang 正式登陆 TPU,推理框架的硬件自由终于实现,选 GPU 还是 TPU 从此只看性价比不看兼容性,做推理服务的团队可以重新算账了。
上海人工智能实验室 InternLM 发布基于 Mobius-v0 架构的 35B 基础模型 Intern-S2-Mobius,将知识组织为全局共享 Memory,由多个 Reasoner 迭代查询和精炼隐藏状态。
Together AI 与 Georgia Tech、UIUC、CMU 合作推出 ThunderAgent,一种高吞吐 Agent 推理调度系统,论文被 ICML 2026 接收为 Spotlight。
Together AI 宣布与 Moonshot AI 达成战略合作,成为其模型发布平台,Kimi K3 已上线并可零日访问,未来 Moonshot 每个开源权重模型都将在 Together 首发。
推荐理由:作者作为合作方说明 K3 的架构要点和托管选项,读者可据此评估开源前沿模型在生产环境的可用路径。
Liquid AI 发布 LFM2.5-Encoder-230M 和 LFM2.5-Encoder-350M 两个基于 LFM2 混合架构的双向编码器,支持 8,192 token 上下文,已在 Hugging Face 开放下载。
推荐理由:原文给出双向编码器的架构改动、17 项任务微调评测和长上下文 CPU 吞吐对比,读者可以据此评估其在边缘和本地部署中的适用性。
NVIDIA、Microsoft、Hugging Face、IBM 等数十家机构联合成立 Open Secure AI Alliance,旨在通过开源模型、工具和框架构建可审查、可定制的 AI 安全防御体系。
推荐理由:NVIDIA拉上微软、IBM等三十多家公司成立了这个安全联盟,虽然现在只是一纸宣言,但它给‘开放模型更能打’撑腰,对搞安全的同学是个风向标,建议留意后续动作。
Moonshot 发布 Kimi K3,总参数 2.8T、每 token 激活 16/896 专家,支持 1M token 上下文窗口和原生视觉。Modal 与 Moonshot、vLLM 合作提供 Day 0 支持,通过定制的 DFlash 投机解码模型将智能体负载交互速度从 100 提升到 460 tokens/s,吞吐从 800k 提升到 1.5M TPM/GPU。
推荐理由:Modal 作为发布当天的托管方,给出了 K3 架构细节与推理加速数据,读者可据此评估运行这级开源模型的工程门槛。
vLLM 官方宣布 Day-0 支持 Kimi K3,这是一个 2.8 万亿参数的 MoE 模型(每 token 激活 896 专家中的 16 个),基于 Kimi Delta Attention 与 Attention Residuals,支持 1M token 上下文窗口和原生视觉。
推荐理由:vLLM 团队亲述 Day-0 支持 Kimi K3 的工程细节与部署配方,读者可以据此判断混合线性注意力模型在实际服务中的可行路径。
月之暗面开源 Kimi K3,Fireworks Day-0 提供推理与训练支持。模型总参数 2.8T、激活参数 104B、1M token 上下文,Frontend Code Arena 1。
推荐理由:官方发布给出 K3 关键规格与多组第三方基准数据,读者可与闭源模型直接比较能力和成本。
Trilogy AI Center of Excellence 围绕在 Fireworks 上运行的 Kimi K3 发布公开 AI 网络安全手册和练习包,含交互式手册、代码仓库和十个练习。
Fireworks 宣布 Kimi K3 可在其 Serverless Training 上进行 Multi-LoRA 训练与托管,处于私测阶段。K3 是约 2.8T 总参数的 MoE 模型;约 20 步、860K 训练 token 的强化学习运行全部花费约 $65,30 到 60 分钟完成,重复上下文按标准 prefill 费率的 20% 计费。
IBM 联合 Hugging Face、慕尼黑工业大学等推出社区项目 EveryEvalEver,建立统一的 JSON 评测报告格式和托管在 Hugging Face 的众包数据库,已收录来自 31 种评测格式、覆盖 2200 个基准的 22000 多个模型结果。
Together AI 对其推理平台发布重大更新,支持单端点挂多部署、canary/蓝绿/滚动更新与自动回滚、A/B 和 shadow 测试、多区域自动扩缩,并重建模型缓存层使预热启动约提速 4 倍。同时宣布定制训练封闭 beta,涵盖全参数与 LoRA 强化学习及监督微调,checkpoint 可直接部署到推理平台,8 月 6 日将举办深度讲解网络研讨会。
Prime Intellect 发布 research-environments,通过 verifiers v1 的 taskset API 将 SWE、终端和搜索三类共 23 个任务集统一到一套运行时和沙箱钩子下,总计约 365,000 个任务,包括约 198,000 个软件工程任务、约 28,600 个终端任务和约 137,600 个搜索任务。
推荐理由:原文给出 23 个任务集统一为一套 API 的整合方法,以及 gold patch 验证和 reward hack 防护的具体做法,可复用于 RL 环境搭建。
Cognition 推出 Devin Outposts,让 AI 软件工程师 Devin 的执行环境迁移到用户自控环境,推理仍留在 Cognition 云端;Modal 是启动合作伙伴,7 月 21 日起开放 alpha。
推荐理由:官方发布方介绍了 Devin 执行环境迁入自有 Modal Sandbox 的方式,GPU 按需启动和会话快照是可对比的实际能力变化。
LangChain 构建了合成基准 IssueBench,用于评估 LangSmith Engine 在智能体轨迹中识别、分类和分组问题的能力。该基准通过模拟真实场景,测试引擎对 Agent 运行过程中各类异常的检测与归因效果。
Ollama 宣布完成 8800 万美元融资,由 Benchmark、Theory Ventures 和 8VC 等领投。该平台已服务 890 万开发者,并被 85% 的财富 500 强企业使用,其云端 token 用量月均翻倍。资金将用于支持无缝混合推理、新模型发布当日集成,以及让开发者在不牺牲所有权和隐私的前提下使用最强开放模型。
推荐理由:Ollama 拿到 8800 万美元融资,同时透露 85% 财富 500 强在用,月 token 量翻倍。开放模型从玩具变成企业标配的信号越来越明显,想本地跑模型的开发者都绕不开它。
xAI 已将 Grok Build 的源代码在 GitHub 上开源。Grok Build 是 SpaceXAI 的编程智能体与终端用户界面(TUI),开源后用户可自行编译并完全本地运行,指向本地推理引擎并通过 `config.toml` 配置。
推荐理由:Grok Build 开源让 xAI 的编码智能体变成完全可定制、可本地运行的套件,对想自己拼装开发环境的工程师是个实锤福利,但社区能玩多大还得看后续。