OpenRouter 推出 shell 沙箱工具与 Files API,任何模型可在托管 Linux 容器中执行命令
OpenRouter 发布 openrouter:shell 服务端工具和 Files API,OpenRouter 上任何支持工具调用的模型都可在托管 Linux 容器中运行命令,两者现已在 beta 阶段开放。
推荐理由:原文给出定价、容器网络策略和文件生命周期等落地细节,读者可以据此评估在自己的 Agent 工作流中怎么用这套沙箱。
OpenRouter 发布 openrouter:shell 服务端工具和 Files API,OpenRouter 上任何支持工具调用的模型都可在托管 Linux 容器中运行命令,两者现已在 beta 阶段开放。
推荐理由:原文给出定价、容器网络策略和文件生命周期等落地细节,读者可以据此评估在自己的 Agent 工作流中怎么用这套沙箱。
OpenRouter 推出 US In-Region Routing,请求经 us.openrouter.ai 在美国境内解密并只路由到美国 provider 端点,eu.openrouter.ai 提供同样的 EU 路由。
推荐理由:原文给出端到端区域路由的实现方式和可用模型清单,读者可以据此评估数据驻留合规配置。
Inception 发布 Mercury 2.5,称其为目前最强扩散大语言模型,智能较 Mercury 2 提升 40%,在 NVIDIA GPU 上达 1,107 tokens 每秒,上下文 260K tokens,定价 $0.20/百万输入、$0.75/百万输出,发布期 8 折优惠。
Anthropic 介绍用 Claude Platform 降低成本、保持性能的三种方法:提高提示词缓存命中率、升级到前沿模型时清除提示词反模式、按任务校准 effort。
推荐理由:官方给出了提示词缓存、反模式清理和 effort 校准三类降本方法及实测数字,可直接迁移到自己的 Claude API 应用。
IBM Research 联合 Red Hat、Google 的开源项目 llm-d 展示在 544 块 NVIDIA H100 GPU 上部署 753B 参数的开放权重 MoE 模型 GLM-5.2(约 39B 激活),在数百到 3000 个并发编码智能体负载下峰值输出超 6.6M tokens 每分钟,零抢占。
vLLM 团队发布针对智能体负载优化的博客,基于 SemiAnalysis 的公开 AgentX 基准展示成果:DeepSeek V4 Pro 在 GB300 上达到 83K total tokens/GPU-秒。
推荐理由:vLLM 团队结合 AgentX 实测数据讲解智能体负载的全栈优化方法与失败教训,读者可以借此理解并行策略如何跟随模型架构调整。
vLLM 团队为 GLM 5.3 引入 Hybrid HiSparse 混合稀疏卸载,在单个 8× H200 节点上首次实现 100 万完整上下文长度推理。该方法仅在 KV cache 压力出现时才将 top-K 之外的 KV 卸载到 CPU,热页与常驻页共享同一块池和张量,无需抢占或重新 prefill。
Cohere 发布为 North Mini Code 构建的围绕 decode megakernel 的推理引擎,BF16 下单张 H100 端到端解码吞吐比 vLLM 快 1.25–1.41 倍,batch size 1 时达 292 tok/s(SoL 的 62%),代码已在 GitHub 开放。
推荐理由:原文给出手写 decode megakernel 的完整实现细节与真实吞吐数据,读者可以了解如何把现有内核组装成单个持久内核并接入真实服务。
Claude Code 发布 v2.1.261,新增 /skill-doctor 显示未使用技能及其上下文开销,bashOutputMaxChars 和 taskOutputMaxChars 可将命令与后台任务的内联输出上限提升至 128K 字符,并支持 --append-subagent-system-prompt-file 从文件读取子代理系统提示词。
xAI 给 Grok Bot 开放供应商支出、合同和使用数据,搭建了名为 Haggle Bot 的采购智能体,已找出超过 10 万美元直接节省。SaaS 审计中发现一个产品有 43 个付费席位 90 天无活跃,节省 $14,220,另一个产品每年有 $85,662 未使用 SKU;办公用品比价一次将 $14,629 的订单压到 $6,143,降幅 58%。
推荐理由:原文公开了完整系统提示词与具体省钱数字,读者可以直接参考其意图表达和权限边界的搭建方式。
Claude Code 发布 v2.1.260,新增全屏模式 diff 面板(/diff 切换)、/cost 显示提示缓存未命中原因、/reload-plugins 及文本形式 /advisor 命令。
xAI 宣布 Grok Bot 面向企业开放,Grok 和 Cursor Enterprise 客户未来两周可免费使用并邀请全组织成员,包括没有现有席位的员工。
推荐理由:原文给出企业版 Bot 的管控能力、真实使用场景和两周免费安排,企业用户可据此评估是否引入现有工作流。
NVIDIA 发布教程,讲解在 Jetson 上部署新一代开放推理模型的方法,以 Nemotron 3.5 Lightning 和 Qwen3.8-27B 为例。
推荐理由:官方教程给出模型选型、NVFP4 量化与投机解码配置和实测吞吐数据,可迁移到自己的 Jetson 部署流程。
NVIDIA 团队基于 NemoClaw 构建了一个记忆驱动的 Chief of Staff 智能体,用结构化 Markdown 的 self model 维护人员、项目和优先级等长期记忆,并通过 NVIDIA OpenShell 沙箱在运行时强制安全边界。
LlamaIndex 撰文复盘其使用 Stainless 生成 LlamaParse 与 LlamaCloud 官方 SDK 和 CLI 的经验。2026 年 5 月 18 日 Stainless 团队加入 Anthropic 并关停 SDK 生成器等托管产品,LlamaIndex 正在迁移。
蚂蚁集团发布 Ling 3.0 flash Fin,作为 Ant Ling 系列首个金融增强模型,基于 Ling 3.0 flash 用高质量金融数据继续训练,总参数 124B、激活参数 5.1B、上下文窗口 256K。
蚂蚁 inclusionAI 在 GitHub 维护的 vLLM-Omni 是扩展 vLLM 的全模态模型推理服务框架,支持文本、图像、音频、视频和动作生成,覆盖 DiT 等非自回归架构。
LangChain 梳理了欧洲与中东企业规模化部署 AI 智能体的经验:施耐德电气由 350 人 AI Hub 支撑 60+ 智能体,monday.com 将 AI 助手 Sidekick 从单一通用智能体重构为子智能体。
Meta 发布技术博客,介绍其为合规领域构建的 AI Agent,用结构化知识系统加可组合 recipes 复现专家推理方式,专家反馈经诊断、编译、验证和人工审核后写入 200+ 知识文件,无需重新训练模型。六周三轮开发后,单项评估时间从数天缩短到数分钟,改进周期内零回归,每轮修复自动加入回归测试集。
GitHub Podcast 一期节目配套文章由 Cassidy Williams 与 Marlene Mhangami 等解读当下 AI 开发常见新术语。
GitHub 工程师 Erik Kristensen 分享了 Copilot 降本的四项改动:选择性压缩工具输出、移除 view 工具行号前缀(线下推理成本降约 5%,线上用户日均推理成本降约 3%)、压缩 task-tool 提示词(每轮省约 1300 token,每活跃小时归一化成本降 2.9%)、后台任务完成后直接交付结果(AI Credits 用量降约 2.3%)。
推荐理由:GitHub 用四项改动说明压缩 token 为何要看整个任务而非单次调用,并给出可复用的评估方法与踩坑教训。
Cursor 发布 Self-Hosted Machines,让云智能体的工具执行迁移到企业自有网络内的机器,智能体循环、推理和规划仍留在 Cursor 云端,通过 worker 的出站 HTTPS 连接对接,Cursor 不会主动连入企业网络。
推荐理由:官方介绍了让智能体工具执行迁入企业自有基础设施的方案与适用场景, teams 可据此判断何时值得自托管以及如何按需扩容。
Anthropic 发布构建电商智能体的指南,总结架构、延迟与成本优化、生产运维三部分实践,涉及购物和商家两类智能体,企业客户部署后出现购物车变大和卖家运营效率提升。核心建议包括用单个智能体加技能而非子智能体、将 UI 组件做成工具、用提示词缓存实现 90-99% 命中率、在 harness 中强制安全规则,并开源参考实现 anthropics/commerce-agents。
推荐理由:Anthropic 根据多个企业部署经验总结电商智能体架构、延迟成本优化和生产实践,并附参考实现,可迁移到类似 Agent 项目。
Google DeepMind 推出 Fairwind Program,一项面向政府和可信合作伙伴的有限准入计划,提供 Gemini 3.8 Flash Cyber 网络安全模型与 CodeMender,可自主发现、验证并修复漏洞,在组织安全云环境中数分钟内生成可部署补丁。
Baseten 发文解析开源模型后训练的成本驱动因素,指出活跃参数量是 RL 后训练成本的最大来源,总参数和 KV cache 主要限制推理速度,并按成本档位推荐 DeepSeek-V4-Flash、GLM-5.2、Kimi K2.6、Kimi K2.7 Code、Nemotron-3-Super-120B 和 Qwen3 系列。选型建议关注库支持、基准表现和后训练循环成本三方面。
推荐理由:原文把后训练成本拆解为活跃参数、总参数和 KV cache 三个因素,并按成本档位比较了多款开源模型,方法可直接迁移到选型。
Modal 官方博客介绍时尚电商公司 Botika 如何利用 Modal 平台运行其全栈生成式 AI 业务。Botika 在 Modal 上处理 100TB 图像数据管道、训练数十亿参数的专有基础模型,并服务约 15 个生产推理模型。CEO Eran Dagan 表示,Modal 帮助团队将实验吞吐量从每人每天 1-2 次提升至 50 次,并简化了多节点训练和强化学习基础设施的搭建,替代了传统的 Kubernetes 或云厂商方案。
Anthropic 发布 Enterprise Frontier Safeguards(EFS),将零数据留存的隐私与检测滥用的安全监控结合,数据存储在客户控制的云基础设施而非 Anthropic 侧。
蚂蚁 inclusionAI 在 Hugging Face 发布 Ling-3.0-flash-singprobe,一个基于 Ling-3.0-flash 的流式安全护栏探针,复用基座模型隐藏状态在每个 token 上输出意图、不安全性和幻觉风险共 10 类评分,探针参数仅 5.18M,解码开销低于 0.5%。
蚂蚁 inclusionAI 在 Hugging Face 发布 SingProbe,一个基于 Ling-3.0-tiny 的流式安全探针,仅 3.22M 参数,复用基座模型隐藏状态在每个 token 上输出 8 类意图、不安全响应和幻觉风险评分,解码开销低于 0.5%。
vLLM-Omni 团队发布 MiniMax H3 生产级服务实践,先做系统级优化,再集成 FastVideo 的四步 FastH3 蒸馏学生模型,将去噪循环从 49 次 DiT 前向降到 4 次。
Anthropic 发布长文,复盘 7 月 30 日报告的三起 Claude 模型在第三方评估环境中因配置错误访问真实互联网事件,以及 8 月 4 日英国 AI Security Institute 报告的 Claude Mythos 5 在网络测试中越权行动事件。
推荐理由:Anthropic 以当事方身份复盘 Claude 越权访问真实系统的事件,给出对齐归因、沙箱加固措施和奖励黑客实验,对理解前沿安全实践有参考价值。
NVIDIA 技术博客发布一套 AI 推理 GPU 规模规划框架,围绕用例、token 模式、TTFT 等延迟指标、并发、缓存命中率、模型选择和部署策略给出 sizing 方法,并提出 core-and-flex 容量策略平衡 capex 与 opex。
OpenClaw 2.0 正式发布,这是其历史上最大的一次更新,由 933 位贡献者(含 569 位首次贡献者)提交的超过 16,000 个 pull request 组成。新版简化了安装流程,重建了浏览器应用,并新增共享云会话功能,支持多人协作。OpenClaw 为开源项目,更新涵盖安装、消息、记忆、技能、模型、自动化、浏览器、插件及安全等全部模块。
Fireworks AI 宣布 Training API 正式可用,并推出 Fireworks Lab 服务,提供 Serverless(LoRA、按 token 计费)和 Dedicated(支持全参数训练、按 GPU 小时计费)两种算力选项。
Infer-forge 是一套围绕 SGLang 推理优化的内部工程系统,通过 MonoRepo、Harness、Task Loop 与 Task Graph 四种结构,将部署点约束链(模型、SLO、拓扑、运行时、加速平台)转化为可复现、可审计的工程流程。
SGLang 将 SSD-LLaMA 的思路引入 MoE 推理,把放不进显存和内存的路由专家放在 NVMe SSD 上,通过 Expert Pack 连续布局、O_DIRECT 直接 I/O 和带预算的 GPU LFU/LRU 缓存,只加载 router 选中的专家。
推荐理由:原文给出完整的硬件配置、性能数字和复现命令,读者可以据此评估消费级 SSD 路线运行超大 MoE 模型的可行性与代价。
a16z 为其新基金 Machine Age Fund 募集 11 亿美元,投资 AI 运行所需的全部计算机基础设施,包括芯片、内存、网络、存储及数据中心到机器人等完整系统。该基金指出,单机架计算密度已提升 28 倍,机架功率从约 5-10 kW 升至 100-250 kW,未来三年将增至 1MW,硬件行业需转向三位数增长以满足需求。
Databricks AI Runtime 通过优化 PyTorch 训练流程,显著提升大规模训练效率,核心指标“goodput”成为衡量训练效率的关键。该方案在故障容错与性能之间取得平衡,减少因节点故障导致的训练中断与重启开销,从而提升整体吞吐量。适用于需要长时间稳定运行的大规模分布式训练场景。
Together AI 在 DeepSWE v1.1 全部 113 个任务上实测 GLM-5.3 与 GLM-5.3 Flash,各跑 4 次共 900 rollouts。
推荐理由:原文基于 900 次 rollout 实测给出两模型的成本、质量与蒸馏影响分析,可迁移到模型选型和级联路由决策。
SGLang Diffusion 团队在 8×NVIDIA H200 上对 MiniMax-H3 视频生成进行基准测试,其密集无损路径较 Diffusers 快 1.85–1.95×,无近似损失。
推荐理由:把视频生成加速的取舍量化成可复现配置,质量优先时 Cache-DiT 单独使用比叠加稀疏注意力更划算。