Mistral 推出区域推理端点、第三方开放模型支持与欧洲算力联盟
Mistral 宣布三项举措构建 AI 主权基础:Mistral Regional Endpoints 正式可用,支持推理在欧洲或美国运行;Mistral Priority Tier 进入公开预览,提供自定义速率限制和 SLA。
Mistral 宣布三项举措构建 AI 主权基础:Mistral Regional Endpoints 正式可用,支持推理在欧洲或美国运行;Mistral Priority Tier 进入公开预览,提供自定义速率限制和 SLA。
文章探讨从基础文本提取到生产级文档处理流水线的差距,指出传统 OCR 在复杂场景下准确率下降的问题。对比了规则型、API 型和基于 LLM 编排的 Agentic 解析方案(如 LlamaParse),强调输入质量(分辨率、倾斜度)、置信度阈值设定及直通率(STP)是决定生产环境准确性的关键因素。
Google 发布教程,讲解如何用 LiteRT 和 Gemma 在 Raspberry Pi 5 上实现完全离线的实时边缘 AI,并演示其驱动 Reachy Mini 机器人。
推荐理由:原文给出 LiteRT-LM 在树莓派 5 上运行 Gemma 的具体性能数字与 CPU/GPU 分工架构,还附完整部署命令,方法可直接迁移到自己的边缘部署。
NVIDIA 主张以 800 VDC 直流配电替代传统交流多次转换,以降低损耗、支撑 AI 算力扩展。NVIDIA 与 Google、Microsoft 通过 OCP 联合制定该架构,已发布白皮书及 LVDC 固态变压器规范 v0.3,超 80 家设备商正据此开发产品。
LMSYS 团队提出 Unified Radix Cache,用单一 token 键控 radix 拓扑统一管理混合模型的 FULL、SWA 和 MAMBA 组件缓存,各组件独立执行路径、滑动窗口和检查点复用语义。
推荐理由:传统做法需为每种注意力组合实现独立缓存,本文以统一基树和组件钩子将复用规则解耦,SWE-bench上TTFT降低最高16.6%。
a16z 数据显示,计算机操作智能体在 OSWorld-Verified 基准上的最佳成绩已从一年前的 42% 升至 85%,超过人类测试者约 72% 的水平,Claude Fable 5 以 85% 领先。
推荐理由:用 OSWorld 基准和一线案例回答了计算机使用代理能否可靠运行,更重要的判断是基础模型正在成为可替换层,真正的壁垒在于上下文、验证和故障处理。
Linear Agent 的价值在于完成未预设的工作,因此团队未为其编写固定路径,而是通过系统提示词、工具设计、产品模型、运行范围及底层自定义 harness 划定边界。系统提示词聚焦沟通风格、硬性边界与产品概念解释;工具设计将约束编码进参数,使无效操作难以执行。团队还引入系统技能作为组合单元,按需渐进加载,避免一次性暴露过多上下文。
NVIDIA 与 vLLM 团队宣布 Nemotron 3.5 Lightning 开放模型上线,vLLM 提供 Day-0 支持。
inclusionAI 推出 Ling3-DSpark,一个为 Ling-3.0-flash 设计的 DSpark 投机解码模型,参数量 1.36B,通过置信度头动态选择草稿 token 数量。在 GSM8K 等九项基准上平均接受长度为 5.29,其中 GSM8K 达 6.40。模型经 SpecForge 训练,可通过 SGLang 部署。
推荐理由:该模型把投机解码的接受长度按工作负载分开报告,数学与代码任务明显高于对话类,部署时可据此对不同场景的加速收益有更实际预期。
Firebird 在亚美尼亚启动独联体地区最大 AI 工厂,由 NVIDIA 加速计算和 Dell Technologies 基础设施驱动,亚美尼亚总理等官员出席开幕式。
现代大语言模型通过长思维链实现强大推理能力,但推理计算成本高昂。投机解码(Speculative Decoding)用快速但不精确的草稿模型提议 token,再由更强的目标模型并行验证,以加速推理。然而,语义等价步骤中的 token 不匹配会导致不必要的拒绝,传统 token 级投机解码因此受限。
Claude Code v2.1.224 发布,新增自托管环境功能,可将自有机器或容器作为 Team 和 Enterprise 计划下 Web、移动端及桌面会话的运行场所。该版本还支持跨会话消息互发、从 HTTPS zip 安装插件,并移除了每会话 200 个子智能体的生成上限。此外修复了沙箱文件系统拒绝规则可被绕过、长项目路径串会话等多项问题。
OpenRouter 提供 6 项控制措施来管理团队 AI 支出,涵盖预算、每密钥限额、模型/供应商白名单、Guardrails、工作区预算和 Activity 仪表盘。
Claude Platform 为 Managed Agents 会话新增预算硬上限,按公开列表价计费,达到上限后会话暂停并返回 budget_reached 停止原因,调整或移除预算可恢复。会话可配置顾问模型,供主线程在推理中途咨询战略建议。此外,可在创建智能体时设置 inference_geo 控制推理地域,并支持从 GitHub 仓库自动加载技能。
OpenRouter 推出五项团队 AI 支出控制功能:组织共享信用池、预设模型范围、每密钥限额、护栏(成员预算和模型白名单)及活动仪表盘。本指南按顺序介绍设置流程,包括创建组织、配置预设、通过 Management API 密钥设置每日/每周/每月限额。组织默认支持最多 10 名成员,标准按需付费账户购买信用时收取 5.5% 平台费。
推荐理由:这份教程把团队支出控制拆解为可操作的五个步骤,并对限额、护栏的叠加逻辑给出了清晰定义,可缓解团队协作中支出归属与模型权限的常见混乱。
Moonshot AI 的 Kimi K3 现已通过 Unity AI Gateway 在 Databricks 上可用。一年前最好的开放权重模型与专有模型仍有差距,如今这一差距已显著缩小。Kimi K3 的加入进一步丰富了 Databricks 平台上的开放权重模型选择。
Cloudflare 发布 Kitesurf,一款专为 AI 智能体设计的浏览器,完全运行于 Workers 之上,在 Browser Run 中免费提供 beta 版。Kitesurf 在截图和 HTML 提取等常见智能体任务中,CPU 和内存消耗显著低于 Chromium。其灵感来自 Rust 编写的无头引擎 obscura,并借助 AI 智能体完成向 Workers 的移植。
Cloudflare 宣布 AI Search 多项开发者体验改进,可自动索引网站与文件,无需 sitemap,并支持通过 /search 和 /mcp 公共端点或自定义域名进行多实例搜索。使用默认模型时嵌入与重排序免费,定价模型更可预测。该服务已用于 Cloudflare Dev Stack MCP,为编码智能体提供带引用的最新文档。
Meta 推出多阶段序列模型,将离线用户建模与在线排序解耦,并采用密集 token 化与目标感知注意力,使序列学习具备可预测的 LLM 式扩展定律。该架构已为 Instagram 转化率带来 6% 的累计提升,Facebook 转化率提升 3%、广告点击量提升 3.5%,并成为 Meta 生成式广告推荐模型(GEM)的核心组件。
2026-07-28 发布的 Model Context Protocol (MCP) 规范以完全无状态核心取代传统有状态约束,支持云原生水平扩展、无服务器部署和标准轮询负载均衡。
Claude Platform 面向 Claude Enterprise 组织推出推理钩子(Inference hooks)Beta 版。该功能可将 claude.ai、Cowork 和 Claude Code 中的每个受管控提示词交由组织的 AI 安全服务器进行允许或拒绝判定,再继续推理。请求经过签名,失败处理可配置,每次拒绝都会记录在合规性 Activity Feed 中。
LangChain 基于 Deep Agents 为 Kubernetes 部署构建了自主 SRE 智能体,可自动执行运维任务,并对变更操作引入人工审批机制。该智能体使用 LangSmith 进行全链路追踪,并通过 evals 评估系统性能,兼顾自动化效率与运维安全。
Cloudflare 推出身份感知 AI Gateway 与 User Insights,为每个请求绑定经 Access 验证的用户身份,并基于账户自身历史行为建立基线,识别偏离正常模式的异常会话。该功能现处于开放测试阶段,User Insights 已向所有 AI Gateway 客户免费开放。其异常检测以近 30 天会话成本 p95 为基准,超过 2 倍即标记为可疑行为。
Cloudflare 推出 Cloudflare OS,整合 Workers 与 Access 等组件,让员工安全使用 AI 并部署智能体。平台源于销售团队用 AI 构建 SuperApp 引发的内部需求,遵循“人负责输出”“权限不因 AI 扩大”等五项原则,面向工程师与非工程师分别提供支持。
Claude 发布企业版成本控制指南,帮助 IT 管理员通过访问门控、模型权限、硬性支出上限等工具管理 Claude Enterprise 支出。指南建议以成本/成果而非 token 消耗衡量价值,并介绍了用量分析、数据导出、Analytics API 及分析聊天等监控功能。API 用户可通过提示词缓存(缓存命中成本为正常输入费率 10%)、批处理(半价)和 effort 参数等杠杆降低成本。
Databricks 宣布 Unity AI Gateway 正式全面可用(GA)。该网关旨在统一管理多种 AI 模型与服务的访问,简化企业级 AI 应用的开发与部署流程。其核心能力包括统一的 API 接口、模型路由与治理功能,帮助组织更安全、高效地使用大语言模型。
SpecForge v0.3.0 将目标模型推理与草稿模型训练分离,支持 EAGLE3、EAGLE3.1、P-EAGLE、DFlash、Domino、DSpark 等多种投机解码算法,并统一在线、离线与解耦工作流。
推荐理由:将目标模型推理与草稿模型训练分离,让两种工作负载可独立扩缩,改变了投机解码训练中资源配比必须硬编码的旧模式,资源规划可按模型和序列长度灵活调整。
GitHub 介绍用堆叠式 Pull Request(stacked PR)解决 AI 编码智能体生成巨型代码难以审查的问题。通过将 1,000+ 行的大 diff 按数据、API、接线、UI 拆成 L1-L4 四个独立分层,每层可分配不同审查者。
推荐理由:详细演示了用 GitHub 堆叠 PR 将 AI 生成的大 PR 拆分为逻辑层,配合 gh-stack CLI 和技能,提供可立即采用的审查优化方案。
Google Cloud API Gateway 新增模型路由功能(Public Preview),开发者可在 OpenAPI 3.x 规范中配置虚拟模型名到后端目标的映射,无需硬编码端点或管理开源代理。网关作为无服务器入口层,接受标准 OpenAI 兼容请求,自动将负载转码为目标模型的原生格式并动态路由流量。
推荐理由:将模型路由规则直接内嵌到 OpenAPI 规范中,减少了多模型调度时的入口适配工作,也无需自行维护代理层。
LangChain 梳理了 Lyft、Vodafone 和 LATAM Airlines 将客户体验(CX)智能体投入生产的实践。三家企业的共同经验是:先用小范围场景验证价值,再逐步扩展;同时需重视智能体与现有客服系统的集成、人工接管机制以及持续评估。文章还总结了避免过度承诺、明确智能体能力边界等关键教训。
文章探讨了从传统 OCR 到智能 OCR(Intelligent OCR)的演进,指出传统 OCR 仅识别字符而缺乏结构语义。智能 OCR 结合机器学习、布局感知和视觉语言模型,将文档转化为结构化数据并进行验证。文中分析了企业环境中传统 OCR 失效的原因,并介绍了包含分类、提取、验证及代理工作流的生产级管道架构。
SGL-Diffusion 通过三项 PR 将 AR+DiT 混合生成从单体架构重构为异构分布式系统。用 SRT 替换 HF 后端并解耦 AR 与 DiT,使 AR 阶段在 4 卡 TP 下延迟从 122.8 秒降至 26.1 秒(-78.8%),端到端延迟降低 77.2%。动态批处理与提前返回机制提升并发吞吐,DiT 采用每设备单去噪器的 SP 并行,并通过缓冲 AR 结果实现流水线重叠。
Cursor 开源 Mixture-of-Kittens(MoK),一个为 GB300 NVL72 从零设计的 MoE 训练兆内核,将所有通信与计算融合进单一确定性内核。
NVIDIA 在 FMS 大会上宣布开源 cuFile API 及底层存储软件栈,让 GPU 可直接读写存储,访问延迟降至微秒级。其 Vera CPU 在两级压缩与加密流水线中吞吐量比 x86 CPU 最高提升 3.21 倍,并联合 40 多家厂商推出 Storage-Next 计划。
推荐理由:cuFile 开源让 GPU 直存访问成为可跨平台协作的开放标准,这会改变 AI 基础设施团队评估存储架构的方式,不再只绑定单一厂商的实现。
Cloudflare 在 Astro 仓库上运行自动化 triage 流水线,通过隔离的 AI 子代理复现、诊断并修复 bug,将开放 issue 从 200 多个降至约 30 个,预计下月归零。该流水线由 issue 标签驱动,修复后自动发布预览版本供用户验证。其底层引擎已发展为 Flue,一个开源的平台无关框架,用于构建持久化智能体与工作流。
Cloudflare 即日起在 wrangler dev 和 vite dev 中自动为本地 Worker 调用捕获 OpenTelemetry 追踪,无需安装 SDK 或配置智能体。智能体可通过 Local Explorer API 查询追踪数据,定位失败操作、修复本地环境并验证结果。开发者也可在浏览器界面 Local Explorer 中可视化查看 spans、时序、错误及关联控制台日志。
Cloudflare 推出 Cloudflare Agents,将部署在平台上的智能体会话统一到一个视图中,并率先上线 agent tracing 功能。该功能支持 OpenTelemetry 兼容的 Think、Flue 和 AI SDK 等智能体框架,可测量每次模型调用、工具执行和 token 消耗。
Cloudflare 推出基于 Workflows 和 Sandbox SDK 的 CI SDK,让平台方直接在 Cloudflare 上运行 CI/CD 流水线,支持构建、lint、类型检查、单元测试、依赖缓存及条件部署。
a16z 宣布共同领投 AI 基础设施公司 Volta 的 A 轮融资。Volta 将云运营与项目融资结合,为 AI 原生公司(从前沿实验室到快速成长的 AI 应用)组装信贷支持、项目股权和债务,而非要求客户自带投资级担保。该公司已签署 133 MW 挪威部署的 100 亿美元战略合作,并与 Azora 达成 50 亿美元基础设施计划。
Circles 基于 OpenAI API 构建 AI 原生电信技术栈,其 AI Concierge 在新加坡市场帮助 ARPU 提升 22%、客户流失率降低 9%。底层多智能体架构 CareX 目前实现 65% 的客服自主解决率,并计划扩展至语音支持后达到 95%。内部使用 Codex 进行设计、编码辅助和单元测试,开发效率提升 29%。