Runway 开发了名为 deckard 的容量控制器，在生产推理集群与研究集群间动态重分配 GPU。生产流量在北美工作日上午 9 点 ET 达峰，晚 8 点 ET 跌至不足一半。控制器基于预计算的时间窗口（如工作日 8:30–12:30 ET 高峰子窗口）提前扩容和回收，每次集群间转移耗时 20–60 分钟。利用排队论（Erlang‑C、Little's Law）确定目标利用率，避免接近 85% 后的队列发散（90% 利用率下等待时间约为服务时间的 10 倍）。此方案使夜间闲置 GPU 回归研究、白天排队等待缩短。
SGLang团队将LLM服务、分布式运行时、GPU内核、扩散管道等工作流编码为可执行的SKILL.md文件、脚本、基准合约和审查循环。现有技能包括：SGLang .claude/skills（CUDA调试、内核集成、性能分析等）、SGLang diffusion .claude/skills（扩散模型添加与调优）、BBuf/AI-Infra-Auto-Driven-SKILLS（跨框架SOTA循环）、KDA（MLSys 2026 FlashInfer内核竞赛获胜方案）以及BBuf/KDA-Pilot（已合并三个SGLang集成PR）。Profile证据是性能工作的核心，长期优化转向Loop Engineering——SGLang SOTA Performance Loop将追求SOTA分解为公平基准测试、差距决策、性能分析、补丁和再验证，Humanize/RLCR添加外部审查，Codex Goal以更低协调开销运行相同循环。评审重要性提升，开发者需定义问题、选择证据、设计工作流并判断结果是否可用于生产。
推荐理由：这不是一篇普通的开发经验总结，而是 SGLang 团队把调试、基准测试和性能调优等重复劳动变成可执行 agent 技能的实操手册，对于做推理框架和复杂工程的人非常值得一看。
Claude Enterprise 推出更丰富的管理分析工具和成本控制功能。仪表板现可按群组和用户分析用量与成本，支持按 SCIM 群组筛选，展示制品创建、文件编辑、技能和连接器对应的成本。Claude Code 管理控制台新增“使用量”和“价值”选项卡，分别显示活跃开发者、会话次数、常用命令，以及生产力提升估算、每次提交成本和年度价值估算。分析聊天支持自然语言查询并返回可导出图表。Analytics API 可将数据接入 Datadog Cloud Cost Management 和 CloudZero。管理员可设置模型默认和权限控制，并配置组织级支出限额的 75%、90% 告警通知；用户在 75% 和 95% 时收到应用内提醒。Admin API 支持自动审批额度增加、标记接近限额用户及快速变化的用量。
推荐理由：企业版管理员终于有了按群组和用户的成本明细、模型权限和花费警告。我觉得规模化部署 Claude 的团队会很看重这些，尤其能把 Claude Code 的价值量化成 ROI，财务团队可以直接拉进现有系统，不是一次性噱头。
微软宣布成立 Microsoft Frontier Company，这是一个专注于通过 AI 实现“前沿转型”的新运营业务，并为此投入 25 亿美元，嵌入 6000 名行业与工程专家到客户现场。
PromptArmor 披露，即使组织未加入 DeepSeek Preview，Microsoft Copilot Cowork 的 Skill 也能通过 agent 自身的访问路径调用 DeepSeek（Mistral 亦验证可行），且无需 API key，认证由用户的 Cowork 会话自动授予。
推荐理由：原文实测展示了 Copilot Cowork Skill 如何绕过组织级模型封锁调用 DeepSeek，并给出管理员目前唯一可用的关闭路径。
Meta 运营数百 EB 级存储集群，基于 Tectonic 分层存储层构建 BLOB 存储架构，以应对两大挑战：最大化 GPU 利用率与研究迭代速度。传统 BLOB 架构的多层元数据查询可导致数百毫秒延迟，使 GPU 因 I/O 等待停顿。新架构将训练栈逐步迁移到 BLOB 存储接口上，利用闪存提供可预测的低 pMax 延迟，避免单 GPU 慢速拖慢整批任务。同时，统一的数据湖访问支持地理分布 GPU 间的数据高速注入与跨区移动，提升研究效率。
推荐理由：Meta的存储架构复盘给出了一条明确路径，从重写元数据到分层缓存，他们把GPU利用率和研究者迭代速度同时提升了一个档次，做AI训练平台的值得细读。
Google Cloud Workbench Notebooks 扩展正式上线，开发者可在 VS Code 中直接连接可扩展的云端 Jupyter 环境，无需切换上下文即可利用高性能 Google Cloud 基础设施完成机器学习全流程。该扩展已完全开源，可在 GitHub 和 VS Code Marketplace 获取。
推荐理由：这个扩展把Google Cloud的Jupyter环境直接嵌进VS Code，做ML的开发者不用再切换窗口，工作流会流畅不少，但对行业格局影响不大。
开源框架 Genkit 推出 Agents API，将消息历史、工具循环和流式传输封装为单一接口，简化对话 AI 开发。该 API 支持服务器或客户端管理的状态持久化，可实现历史分支、长时间运行的分离任务及多智能体协调等高级工作流，并通过统一线协议连接前后端。目前以 TypeScript 和 Go 预览版发布，集成 Genkit Developer UI，开发者无需编写客户端代码即可测试、调试和检查智能体快照。
Cloudflare 开放 Monetization Gateway 候补名单，允许对 Cloudflare 背后的任何网页、数据集、API 或 MCP 工具收费。费用通过 x402 开放协议以稳定币结算，用户无需自建支付栈。
Together AI 宣布完成 8 亿美元 C 轮融资，投资方包括 Aramco Ventures、NVIDIA、Vista Equity、General Catalyst 等，并获超过 500 MW 算力容量承诺。
Agent Development Kit (ADK) for Go 2.0 发布，引入了一类基于图的工作流引擎，用于组合复杂多智能体应用。新版本内置人工参与循环（HITL）编排、使用纯 Go 代码的动态执行、以及指数退避重试等自动弹性特性。统一执行模型后，单智能体应用与复杂图均运行在同一运行时上，简化了遥测与状态持久化。
推荐理由：Google 给 Go 生态补上了多智能体编排的关键一环，图工作流引擎和人机协同直接内置，比之前拼积木的方式可靠很多，做 Agent 的 Go 开发者值得跟进。
LangChain 为 Deep Agents 设计了一种无需完整沙箱即可运行不可信代码的方案，核心采用 WASM 与 QuickJS 实现进程内隔离，并通过最小权限能力模型控制资源访问。该方案还引入基于快照的持久化暂停机制，使智能体可在暂停后恢复执行状态，兼顾安全性与运行效率。
Augment Code 内部大量工程时间耗在人工验证智能体写的代码能否在 dev 环境端到端运行，因此构建了运行在 Cosmos 云智能体平台上的 Verifier。
LangChain 发布 OpenEvals 与 AgentEvals，提供预构建的评估器，支持 LLM-as-judge、结构化数据及智能体轨迹评估。该框架可直接用于生产环境，帮助开发者系统化评估大语言模型与 AI 智能体的表现。
LangSmith 新增 Pairwise Evaluations（成对评估）功能，允许开发者并排比较两个 LLM 输出（如不同模型或提示词版本），通过人工或自动评分选出更优结果。该功能集成在 LangSmith 评估工作流中，可帮助团队在开发阶段系统性地优化模型响应质量。
Anthropic 于 6 月 30 日发布面向科学家的 AI 工作台 Claude Science，Modal 宣布作为其可选算力后端。研究者连接自己的 Modal workspace 后，需要 GPU 或大量并发 CPU 的负载自动路由到 Modal 沙箱运行，Claude 负责写代码、Modal 负责调度，支持数百容器并行虚拟筛选与 CRISPR 脱靶搜索等场景。
Together AI 为 ICML 2026（7 月 6 日至 11 日，首尔）带来九篇论文，按技术栈从 Agent 到 kernel 分层介绍。
Anthropic 今日推出 Claude apps gateway，一个自托管控制平面，让企业能在 Amazon Bedrock 和 Google Cloud 上运行 Claude Code。它作为单个无状态容器部署于 Linux，后端使用 PostgreSQL，提供企业级 SSO 登录（通过 OIDC 对接 Google Workspace、Microsoft Entra ID、Okta 等）、集中策略管理、角色权限、路由（支持故障转移）以及按日/周/月、按组织/群组/用户的消费上限。遥测数据通过 OTLP 发送至用户配置的收集器。gateway 不会向 Anthropic 发送推理流量或使用数据（除非配置使用 Claude API）。即日起可用。
推荐理由：Claude Code企业版有了统一管理入口，SSO和成本控制是团队落地AI编程的关键，对CTO来说值得关注。
从今天起，Claude 模型在 Microsoft Foundry 上正式可用，托管于 Azure 环境，运行在 NVIDIA GB300 GPU 上。首批提供 Claude Opus 4.8 和 Claude Haiku 4.5，通过 Messages API 调用，支持提示缓存和扩展思考。用户可选择推理处理位置，包括美国数据区域，由 Anthropic 负责推理运营。Azure 用户可使用现有身份验证、计费与治理控制，并获得统一账单；符合条件的 Enterprise Agreement 客户可将 Claude 用量计入 Azure 承诺消费。
推荐理由：Claude 正式登陆 Azure Foundry 企业版，对于看重数据主权和现有 Azure 合约的企业是个好消息，但本质上是一次渠道铺开而非能力突破。
Candidly 团队在 LangChain 博客发文，介绍其 AI 财务规划师 Cait 如何用 IO-HMM 从对话轨迹逐轮推断用户参与状态，并将状态接入响应策略实现会话内干预。模型基于轨迹特征以 0.90 AUC 预测对话解决或放弃，恢复出四种参与状态，策略将 Disengaging 状态占比从 23% 降至 11%；文中还展示了该评估作为控制信号的方法如何推广到编码 Agent 等场景。
惠普宣布与OpenAI达成Frontier战略合作伙伴关系，此前试点中一名工程师数周内用OpenAI模型处理了43个项目中的122个pull requests，安全团队一天修复多个软件bug（原估计需一个月）。惠普将把Frontier作为统一平台整合访问、上下文、部署与评估，覆盖定价、合作伙伴门户、客户支持、员工体验平台（WXP）及网络安全等场景，同时使用ChatGPT支持知识工作、Codex加速软件现代化与交付。Frontier提供从试点到生产环境的治理型运营模型。
Anthropic 已移除 Claude Opus 4.6 的快速模式。向 `claude-opus-4-6` 发送带 `speed: "fast"` 的请求不再以快速或高级定价运行，而是按标准速度和标准费率计费，且不会返回错误。响应中的 `usage.speed` 字段会报告实际使用的速度；如需继续使用快速模式，需迁移至 Claude Opus 4.8。
OpenAI 发布 Secure MCP Tunnel，让 ChatGPT、Codex 等 OpenAI 产品能在私有 MCP 服务器不暴露公网的情况下与其通信。
推荐理由：官方讲解了 Secure MCP Tunnel 的设计与安全权衡，企业读者可以借此评估如何在不开放入站端口的前提下接入私有 MCP 服务器。
Claude API 全面上调速率限制，Sonnet 与 Haiku 在各使用层级上均与 Opus 持平。使用层级合并为 Start、Build、Scale 三档，多数组织自动升至更高层级，无需任何操作。用户可在 Claude Console 查看当前层级与限制。
Meta 在 Privacy-Aware Infrastructure (PAI) 的资产分类中采用混合模式：先构建含代码、血缘、语义标注的上下文证据，再调用 LLM 处理歧义、冷启动和新颖资产；人工审核标签与模型推荐严格隔离。LLM 不直接做生产决策，其稳定行为被蒸馏为版本化确定性规则用于生产执行，LLM 角色随规则积累逐步缩小。核心原则：上下文比提示词更重要、解耦评估与优化、将稳定行为规则化。
Google Research 与 Google Cloud 提出线性弹性缓存，将缓存管理转为线性成本优化问题，动态调整大小以最小化总拥有成本。为每条数据引入“滑雪租赁”决策框架，在租用内存（持续付费）与购买缺失（缓存未命中惩罚）间选择，并用轻量级机器学习实时优化内存占用与缺失率权衡。无服务器云场景下（每 GiB 内存每天 $3），该技术可在不牺牲性能的同时显著降本。论文发表于 CIDR。
Google Research提出一种新架构，在已冻结的Gemini Nano v3模型上改造Multi-Token Prediction（MTP），以加速Pixel 9和10系列上的设备端推理。该方法基于EAGLE框架和CALM，无需单独训练占用内存的草稿模型，通过“晚期退出”策略实现加速。AI通知摘要和校对功能因此生成文本速度显著提升、能耗降低，开发者无需为每个新任务微调独立模型。
推荐理由：谷歌这篇技术博客值得端侧开发者细读，他们把多令牌预测硬是装进了已部署的 Nano 模型，Pixel 上生成加速五成，还省了 130MB 内存，零拷贝架构的想法挺巧，但没法直接复现，主要是开脑洞用的。
SGLang 为 DeepEP MoE 推理新增两种调度时负载均衡方法：Waterfill 将共享专家分配给负载更低的 rank，在 DeepSeek-V3/R1 服务负载下使总吞吐量提升 1.48% 至 4.66%，在 DeepSeek V4 上最佳点从 49,253 tok/s 提升至 51,677 tok/s（+4.92%）；LPLB 基于线性规划优化冗余专家副本的 token 路由，配合 EPLB 在相同集群上实现吞吐量提升 0.84% 至 7.34%。
推荐理由：SGLang 引入 Waterfill 和 LPLB 两种负载均衡算法，实测 DeepSeek V3/R1 和 V4 吞吐提升最高 7%，用 SGLang 跑 MoE 推理的开发者值得一试。
LangChain 提出一个四阶段 AI 智能体开发生命周期：构建、测试、部署与监控，帮助工程团队可靠且可重复地交付智能体。该框架涵盖评估（evals）、运行时、可观测性（observability）及规模化治理（governance）等关键环节。
LangSmith 发布 SmithDB，一款专为智能体可观测性打造的分布式数据库，性能最高提升 12 倍，并支持完全可移植性。该数据库旨在解决传统数据层在追踪、调试和分析 AI 智能体行为时的性能瓶颈，为开发者提供更高效的观测能力。
LangSmith Sandboxes 为每个 AI 智能体提供独立的计算机环境（文件系统、Shell、包管理器、持久化状态），解决智能体执行代码时直接访问用户基础设施的安全风险。该方案面向智能体大规模运行数百万任务的需求，让每个智能体拥有自己的安全计算空间。
Modal 推出 Servers，用于以超低延迟处理 HTTP、WebSocket 和 gRPC 流量，面向交互式 Agent 的 LLM 推理等场景，提供区域化、自动扩缩容的 HTTP 服务器副本池。
Tibo@thsottiaux精选AI 评分6565我们设计并打造了我们的首款 AI 芯片：Jalapeño。 Jalapeño 由 OpenAI 从零开始设计，并与 @Broadcom 合作投入生产，专为驱动 ChatGPT、Codex、API 以及未来智能体产品的 LLM 工作负载而打造。 芯片是 AI 经济的基石。自研芯片将我们的全栈平台从产品扩展到模型再到基础设施，并帮助我们扩展智能、服务更多人，以及扩大 AI 的可及性。
推荐理由：我认为这比新模型更重要，自研芯片会让推理成本进一步下降，那些因太贵而没上的 AI 功能现在可以启动了，尤其是 agent 类产品。
LangChain 发布了一份关于 AI 智能体记忆构建的实用指南，涵盖短期记忆、长期记忆与追踪分析。指南介绍了如何通过 LangSmith 帮助智能体在多次运行间持续改进，并重点讨论了短期记忆（如对话上下文）与长期记忆（如用户偏好存储）的实现方法。该指南为开发者提供了在 LangChain 框架中集成记忆模块的具体技术路径。
推荐理由：LangChain官方出的代理记忆实践指南，把短期/长期记忆和trace分析讲透了，用LangSmith复盘的方法可以直接落地，做agent的值得存一份。
Cohere Labs 发布一套用 AI coding agent 自动化 fork 维护的闭环方法，把同步上游发布的时间从数周压缩到数天，人类只需审查结果。
Liquid AI 发布 230M 参数模型 LFM2.5-230M 及其 Base 版本，已在 Hugging Face 开放权重。
Mistral 推出 Connectors 多项新能力：增强管理控制、带 connector scope 的 API key、多账号连接器和 Vibe Code 中的连接器进入 GA，Connectors Debugger 和 Workflows 中的连接器为 Public Preview。
OpenAI 与 Broadcom 发布首款自研推理加速器 Jalapeño，专为当前及未来 LLM 从头设计。早期测试显示，其性能功耗比大幅优于现有 SOTA。工程样片已在实验室以目标频率和功耗运行 GPT‑5.3‑Codex‑Spark 等负载。芯片从设计到流片仅用 9 个月，并利用 OpenAI 模型加速部分流程。OpenAI 计划从 2026 年起与 Microsoft 等合作伙伴部署千兆瓦级数据中心，推出多代计算平台。
推荐理由：OpenAI 首次亲自设计芯片，和 Broadcom 联手推出专为 LLM 推理优化的 Jalapeño，从设计到流片仅 9 个月。虽然还只是早期测试，但性能功耗比大幅领先，一旦大规模部署，推理成本可能跳水，用 ChatGPT 的每个人都能感知到更快更便宜。
Microsoft 通过冷却技术创新，将数据中心水利用效率（WUE）从 2.3 L/kWh 降至 2025 年的 0.27 L/kWh，降幅近 90%。2025 财年，公司实现了补充水量超过取水量的水正效益里程碑，并承诺到 2030 年将水利用强度再降低 40%。
Inception Labs 宣布 Mercury 2 在 Azure AI Foundry 上线，称其为基于扩散架构的快速推理语言模型，通过并行细化生成而非逐词解码。
推荐理由：官方宣布扩散架构推理模型登陆 Azure，给出具体速度、价格和企业级部署细节，可供评估生产部署选项。