OpenRouter Presets:当模型下线时保持 AI 智能体运行
Anthropic 在 Claude Fable 5 发布仅数天后便对其进行了限制。如果代码硬编码模型 slug,该限制也会导致服务中断。OpenRouter 的 Presets 功能将模型选择移至服务器端,使用户无需重新部署即可切换模型、设置回退策略并强制执行数据策略。
推荐理由:给 Agent 开发者的实用提醒,硬编码模型名会在供应商限制时塌方,用 Presets 换模型、设降级方案比现改代码省心。
Anthropic 在 Claude Fable 5 发布仅数天后便对其进行了限制。如果代码硬编码模型 slug,该限制也会导致服务中断。OpenRouter 的 Presets 功能将模型选择移至服务器端,使用户无需重新部署即可切换模型、设置回退策略并强制执行数据策略。
推荐理由:给 Agent 开发者的实用提醒,硬编码模型名会在供应商限制时塌方,用 Presets 换模型、设降级方案比现改代码省心。
LangChain 发文阐述 Agent 的循环工程方法,将 Agent 系统拆为四层循环:模型循环调用工具的 Agent 循环、用评分标准检查输出并反馈重试的验证循环、由 cron 和 webhook 触发的事件驱动循环,以及分析生产 trace 并改进 harness 配置的爬坡循环。
谷歌今日推出 TPU Developer Hub,面向模型构建者与开发者提供端到端教育资源。内容覆盖预训练、后训练及推理工作负载,涵盖硬件架构、软件栈(XLA、PyTorch 零成本迁移)、追踪调试(XProf 工具)、并行优化(Pallas 内核、KV cache 卸载)及网络安全实践。资源形式包括交互式 Colab、开源代码配方与深度技术文档,支持 AI 智能体辅助集成,帮助用户充分发挥 Cloud TPU 性能。
智能体AI使用量将在未来两年急剧上升,但治理滞后——仅五分之一企业拥有成熟治理模型。典型事故:销售智能体重试失败调用后自行升级到GPT-5.5,一夜消耗200美元。API路由层位于智能体与模型之间,是强制执行预算上限、模型白名单、提供方准入和请求日志的理想点。IBM报告指出97%遭遇AI安全事件的组织缺乏AI访问控制。最小可行治理方案:为每个智能体工作流分配独立API密钥,在API密钥层面实现预算控制、模型准入和审计追踪。
推荐理由:现在代理失控的风险越来越真实,这篇文章把复杂的治理问题简化为五个 API 密钥控制,五分钟就能落地,比那些大而无当的框架实用得多。
13个平台提供免费LLM API,含永久免费层与试用额度。OpenRouter拥有20+免费模型,单密钥无需信用卡;Groq以约320 tokens/秒运行Llama 3.3 70B;Google AI Studio支持1M上下文;Mistral实验层约10亿token/月但需同意数据训练;Cerebras约1M token/天;GitHub Models提供GPT-4o、Claude 3.5 Sonnet等前沿模型。各免费层有速率限制、数据训练授权、上下文缩减等隐藏成本,建议早期测试2-3个方案并设置故障转移。
推荐理由:免费 LLM API 不是免费的,这篇文章把 13 家平台的隐藏成本、速率限制和真实可用性都算清楚了,想省钱的开发者值得花五分钟看一遍。
vLLM Semantic Router 团队发布 Fusion API,让一条路由可运行多个模型的 panel,由 judge 模型分析共识与分歧并综合为一个答案。
PromptArmor 分析 Salesforce Agentforce 的 URL 抹除防御,将输出中非可信 URL 替换为 [URL_REDACTED],从而阻断基于 markdown 图片、链接和 HTML 的数据外泄与钓鱼攻击。
LangChain 与 Fireworks 通过微调开源模型,从生产追踪数据中挖掘感知错误信号,构建出成本降低 100 倍的 Trace Judge。该方案在性能上匹配前沿模型,但推理成本仅为闭源模型的极小部分。
xAI 宣布与 Warp 集成,Warp 是一个基于终端的智能体开发环境,拥有近百万开发者。用户可使用 Grok 或 X Premium 订阅在 Warp 中访问 Grok 模型,包括驱动 Grok Build CLI 的 `grok-build-0.1` 模型。设置方式:下载 Warp,在 Agent 设置页连接 SuperGrok 订阅,切换至 `grok-build-0.1` 模型。更多智能体与集成即将推出。
LangSmith 新增回归测试功能,允许用户对比实验、追踪性能变化并识别模型行为差异。该功能旨在帮助开发者更有信心地评估和迭代 LLM 应用,通过系统化比较不同版本的表现来确保应用质量。
LangSmith 现已作为可交易产品在 Azure Marketplace 上线。用户可在 Azure VPC 内部署这一 LLM 应用 DevOps 平台,实现完全数据控制,并支持 MACC 信用额度支付。
Dosu 采用评估驱动开发(Evaluation Driven Development)和 LangSmith,规模化构建可靠的 LLM 产品。该方法通过监控生产环境性能,让团队能够自信地迭代改进。
LangChain 与 Pinecone Serverless 集成,提供构建生产级 RAG 应用的完整方案。该方案支持按用量计费的可扩展部署,并内置可观测性功能,帮助开发者快速将原型转化为可上线的 AI 应用。
LangChain 通过 LangSmith LLM Gateway 实时追踪编码智能体的 AI 支出,支持按团队和用户设置预算,防止成本失控。该方案让编码智能体的花费变得可预测,解决了 AI 成本不可控的痛点。
Z Lab、Modal 与 SGLang 团队联合发布 DFlash 投机解码模型和 SGLang 的默认 Spec V2 引擎。DFlash 采用块扩散+KV 注入并行生成整块 draft token,在 Qwen 3.5 397B-A17B(BF16)的 HumanEval 数据集上、并发 1 时吞吐量达到基线的 4.3
推荐理由:DFlash 用并行起草和 KV 注入实现了实测 4.3 倍吞吐,再加上 SGLang Spec V2 引擎优化,推理加速不再是纸上谈兵。做 LLM 部署和推理服务的人,可以直接用这个组合试试。
Cloudflare 宣布 Ensemble AI 团队关键成员加入,以加速 AI 基础设施研发。Ensemble 专注于模型压缩与高效推理,开发了 NdLinear(可直接替换 Transformer 标准线性层并保持多维激活结构)和 NdLinear-LoRA(降低大模型微调所需可训练参数)。这些技术与量化等方法互补,旨在降低大语言模型和多模态架构的内存、计算与部署开销。Cloudflare 将把 Ensemble 的成果整合到 Workers AI 平台,通过全球网络与 serverless GPU 推理服务,进一步提升推理效率、GPU 利用率和部署经济性。
OpenAI 宣布推出 OpenAI Partner Network,并投资 1.5 亿美元支持全球合作伙伴构建、销售和交付 AI 解决方案。该计划设立 Select、Advanced、Elite 三级合作伙伴层级,提供 Codex、网络安全、智能体等专业方向认证,并试点 Forward Deployed Experts 项目以支持复杂企业部署。目标在 2026 年底前培训认证 30 万名顾问。案例显示,Paychex 借助 Bain 和 OpenAI 的方案将等待时间降低 80%,人工审核时间减少 30%。
推荐理由:OpenAI 砸 1.5 亿建合作伙伴网络,企业落地从模型能力转向生态整合,但这事离普通用户比较远,更像是给咨询公司派活。
Augment Code 推出统一智能体平台 Cosmos,覆盖从代码评审到事故响应的完整 SDLC,Agent 先处理机械工作,人只负责架构、风险等判断。
OpenRouter 默认启用提供商故障转移(provider failover),模型回退(model fallbacks)则为选择加入。这两层机制分别应对不同类型的故障:提供商故障转移在 API 调用失败时自动切换至其他提供商,模型回退则在指定模型不可用时切换到备选模型。公告详细说明了各层的工作原理以及故障转移的停止条件。
推荐理由:开发 LLM 应用的人可以把这篇当生产可靠性检查清单用,虽然通篇在推自家服务,但两层故障转移的思路确实通用。
OpenRouter 将每个请求路由到 60 多家提供商,用户可自定义提供商顺序、价格上限和回退链,从而灵活控制路由策略。
推荐理由:如果你在用 OpenRouter,这篇把默认的逆向平方权重、:nitro/:floor 快捷方式和 model fallback 逻辑讲得很清楚,读完就能调整请求策略。
Hermes Agent 已通过 OpenRouter 处理超过 17 万亿 tokens。使用指南包括设置流程、选择支持 64K 上下文窗口的模型,以及调整路由策略以兼顾成本与可靠性。
推荐理由:OpenRouter 这篇教程把 Hermes Agent 的配置、路由和降本技巧都讲透了,刚上手的人照着走就能跑起来,而且给出了廉价辅助模型的省钱套路,实用性强。
Claude Code v2.1.176 更新:会话标题现按对话语言生成;新增 footerLinksRegexes 设置支持正则匹配页脚行链接徽章;优化 Bedrock 凭证缓存。修复多项问题:环境变量不可再绕过 availableModels 限制;/fast 切换至白名单外模型时拒绝;auto 模式退化为可用 Opus 模型;修正路径 hook 条件匹配;修复 Linux 沙箱内符号链接启动问题;修复 tmux 内 SSH 剪贴板问题;修复 Remote Control 多项连接问题。
在OpenRouter上追加`:floor`可获取最便宜提供商,通过`max_price`设定花费上限,并可免费使用20多个零成本模型。同时需注意避免计费陷阱。
推荐理由:如果你是 OpenRouter 的开发者,这篇教程把成本控制的开关全摆出来了,从 :floor 到免费模型再到 BYOK 的成本账,看完就能立刻调配置省钱。
Ai2 发布开源评估工作台 olmo-eval,将 2024 年推出的 OLMES 标准扩展到模型开发全流程。它将基准逻辑与运行时策略解耦为 task、suite、harness 三层抽象,一等支持智能体和多轮评估,可逐题对比两个 checkpoint 并报告标准误差和最小可检测效应,以区分真实改进与噪声。
Claude Code v2.1.175 新增 enforceAvailableModels 管理设置。启用该设置后,availableModels 允许列表也会约束 Default 模型——若 Default 模型解析到被禁用的模型,则自动回退至第一个允许的模型;用户或项目设置无法再扩大受管理的 availableModels 列表。
新增 `wheelScrollAccelerationEnabled` 设置,全屏禁用鼠标滚轮加速。修复 /model 选择器:Opus 在 Max/Team Premium/Enterprise 独立行,Sonnet 在 Pro/Team,Opus 在 API 按量付费账户;修复固定 Sonnet 版本时的硬编码标签;企业账户误显示积分横幅;Bedrock GovCloud 区域前缀错误导致 400 错误;后台会话继承另一会话环境变量;macOS/Linux 退出时 1-2 秒暂停;git co-author 模型名错误;/advisor 预选被 availableModels 屏蔽;skill 热重载仅发送变更;Workflow tool 子智能体缺失归属头;预温后台 worker 空闲后认证失败。[VSCode] 在 /usage 新增过去 24h/7d 的缓存未命中、长上下文、子智能体及 skill/agent/plugin/MCP 分解归因。
vLLM 宣布对 MiniMax M3 的 day-0 支持,覆盖 BF16 与 MXFP8 检查点,支持 1M-token 上下文、原生图像视频输入、minimax_m3 工具与推理解析器、EAGLE3 推测解码(草稿模型 Inferact/MiniMax-M3-EAGLE3)以及 TP/EP 部署和 Docker 镜像。
推荐理由:官方团队拆解了 MSA 稀疏注意力、MXFP8 MoE 与 EAGLE3 在推理引擎中的落地细节,部署者可以照此选择 NVIDIA 或 AMD 配置并理解瓶颈所在。
我们已达成协议,将收购 @ona_hq。 其安全的云端执行技术将帮助 Codex 承担运行时间更长的工作,即使笔记本电脑合上也能继续,并帮助更多组织在生产环境中安全部署智能体。 交易完成后,Ona 将加入 OpenAI 的 Codex 团队。https://openai.com/index/openai-to-acquire-ona/
推荐理由:OpenAI在填Codex的坑,关掉笔记本还能跑任务这件事比听起来更难,收购Ona是在解决真实工程问题,做产品的人应该留意这个信号。
缺少 LLM 网关时,供应商中断会直接变成用户可见的错误,AI 支出也难以追踪。文章从路由、合规性和设置时间三个维度比较了最佳方案。
LLM Gateway 能防止 API 提供商故障变成用户端可见错误,并让 AI 费用变得透明。通过路由、合规性和设置时间等维度,可以对比市面上最佳的网关方案。
BBVA 将 ChatGPT Enterprise 推广至 10 万名员工,并与 OpenAI 达成合作,加速全球银行业 AI 驱动的转型。
OpenAI 计划收购 Ona,以拓展 Codex 的功能,提供安全、持久的云端环境,从而支持企业工作流中长时间运行的 AI 智能体。
推荐理由:OpenAI收购Ona,给Codex补上持久化云环境,让Agent能长时间自主工作。这是把AI Agent从会话工具变成企业级生产平台的一个基础设施信号。
OpenRouter指出,企业不应只依赖一家LLM供应商,而应采用多模型路由策略以平衡成本与效果。Anthropic Opus 4.7的“tokenizer税”导致输入token增加35%,新模型Fable定价$10/M输入、$50/M输出,OpenAI GPT-5.5 Pro更高达$30/M输入、$180/M输出。用户正主动跨模型族分配任务,平台3月至4月新增90个模型。OpenRouter作为统一市场,通过标准化API消除切换成本,使路由成为“一等公民”。
推荐理由:OpenRouter 放出的多模型使用数据很实在,成本压力正推动企业从专一走向多模型路由,新分析 API 让这个趋势可度量。
OpenAI 与 Oracle 合作,用户可利用现有 Oracle 云服务承诺(commitment)额度,在 Oracle 云上访问 OpenAI 模型和 Codex,用于构建和部署 AI 应用,同时获得企业级安全与治理能力。
Gemini 2.5 Flash API 支持配置思考预算(thinking budgets),用户可跨提供商进行比较,并在5分钟内完成首次API调用。
推荐理由:这是 OpenRouter 上接入 Gemini 2.5 Flash 的保姆级指南,把三家 Google 提供商的延迟和定价差异摆在明面上,需要做模型选型和成本估算的开发者可以直接抄里面的 quickstart 代码。
6 月 10 日,eToro 宣布其 AI 智能体 Tori 集成来自 SpaceXAI 的文本模型,能够从 X 平台实时读取市场情绪变化、追踪信号并分析信息。Tori 现已在 eToro 的投资流程中嵌入该能力,支持用户以自然语言查询和解读市场情绪。eToro 拥有超过 4000 万注册用户,覆盖 75 个国家。该功能基于 SpaceXAI API 构建,其他开发团队也可通过 API 控制台在数分钟内搭建类似应用,如研究助手或情绪看板。
推荐理由:xAI 的实时 X 数据能力正式嵌入 eToro 投资助手 Tori,4000 万散户第一次能用上基于社交情绪的智能分析,虽然只是一个 API 集成案例,但把‘市场脉搏’塞进 AI 助手的方向对了。
Anthropic 推出 Claude Managed Agents,一套可组合 API 套件,用于构建和部署生产级智能体。该产品从早期简单 API 演进至 Claude Agent SDK,再到将智能体调度层与代码执行沙箱解耦的 Managed Agents。通过只追加日志的会话机制,Managed Agents 解决了托管伸缩、会话持久化、文件系统管理、执行隔离、凭证安全与可观测性等生产部署挑战。团队借助该方案可在数天内完成从原型到生产环境的转化,无需自建基础设施。
推荐理由:Claude Managed Agents 把代理部署的复杂基础设施打包成了 API,让团队从原型到上线只需几天而不是几个月,尤其凭证隔离和延迟优化对生产环境很关键,想部署可靠代理的团队可以认真看看。
DiffusionGemma 是 Google 基于 Gemma 4 架构的实验性文本生成模型,采用扩散式并行生成替代逐 token 自回归,实现更快推理、双向上下文感知和实时自我修正,并可在消费级 GPU 上部署。模型通过迭代去噪并行生成并细化 256-token 块,在处理数独等复杂约束任务上优于传统语言模型,且微调效果显著。它已集成 vLLM 等推理框架,为开发者提供一种高性能、高效长上下文扩展且易于定制部署的非自回归新方法。
vLLM 宣布原生支持 Google DeepMind 的 DiffusionGemma,一个基于 Gemma4 骨干、26B 参数的离散扩散语言模型,也是 vLLM 支持的首个 dLLM。
推荐理由:vLLM 与 Google DeepMind 合作方联合撰写,官方说明首个支持 dLLM 的架构改动与吞吐数据,可了解扩散语言模型的部署路径。
Claude Platform 新增 `GET /v1/environments/{id}/work` 端点,用于列出自托管沙箱的待处理工作。该端点已在 Claude Platform on AWS 上可用,需通过 `GetEnvironment` IAM 操作进行授权。