同一集群利用率提升 33 个百分点:改变的是分配顺序
Hugging Face 构建了一个约束感知的 GPU 分配器,并在七个基准场景中与 FIFO 调度器对比。在相同硬件和负载下,GPU 利用率最高提升 33 个百分点,优先级加权输出在全部场景中均上升,最高达 105%。分配器将实时推理需求按曲线而非峰值处理,批量任务按优先级跨整个调度周期排序,从而回收了预留闲置容量。
Hugging Face 构建了一个约束感知的 GPU 分配器,并在七个基准场景中与 FIFO 调度器对比。在相同硬件和负载下,GPU 利用率最高提升 33 个百分点,优先级加权输出在全部场景中均上升,最高达 105%。分配器将实时推理需求按曲线而非峰值处理,批量任务按优先级跨整个调度周期排序,从而回收了预留闲置容量。
SGLang 重构 CUDA Graph 支持,通过 runner/backend 接口拆分使不同捕获策略可复用。其社区首创的 Breakable CUDA Graph(BCG)现为 prefill 默认方案,代码量仅为 torch.compile 方案的约四分之一(521 行对比 1,771 行),构建速度快 3.8–5.2 倍。
本教程基于 docTR 构建端到端 OCR 工作流,覆盖文本检测、识别、版面分析、结构化抽取与导出。通过合成发票数据,对比不同检测-识别架构组合的速度与精度,并实现低置信度二次识别、旋转文档处理、KIE 字段抽取及可搜索 PDF 导出。最后讨论微调、批处理与部署,展示从基础 OCR 到生产级文档智能流水线的路径。
测试时训练(Test-time training)让模型在使用中持续更新权重,而非训练结束后冻结。相比标准 Transformer,其内存需求从随上下文线性增长变为恒定,斯坦福研究显示推理速度最高可提升 2.7 倍,且 In-Place TTT 无需重训即可将 4B 模型提升至 128k 上下文性能。但代价是每个用户需独立模型副本,服务成本转向算力与芯片,更适合编码助手等个性化场景。
ABC Legal 为 1,100 名员工部署 Claude Enterprise 后,通过 Claude Managed Agents 将零散实验转变为受治理的智能体体系,截至 2026 年 7 月已上线 50 多个生产级智能体,部分覆盖的人工任务成本降低约 50%,约 310 名员工日常使用 Claude。
Origin, our code hosting platform, is now live. It's fast, easy to use, and deeply integrated with Cursor. Get started by syncing your repos from GitHub.
Groq 已筹集 3.5 亿美元,继续从 AI 芯片制造商转型为提供 GPU 和 AI 基础设施服务的 neocloud 公司。本轮由 Disruptive 领投,Nvidia 计划参投,估值 35 亿美元,低于去年 9 月的 69 亿美元。公司计划到 2027 年将规模从 54 兆瓦扩展至超 200 兆瓦,目前运营 13 个数据中心,服务超 600 万开发者。
AgentCore Payments 中间件让 LangChain 智能体以确定性会话预算支付 API 费用。该中间件为 x402 支付签名,LangSmith 可追踪每一笔支付记录。
Nvidia 周一宣布向软银与 OpenAI 关联的数据中心开发商 SB Energy 投资 15 亿美元,并成为 OpenAI 位于俄亥俄州辛辛那提附近 Ports-Pike 数据中心计算基础设施的唯一供应商。
OpenAI 与软银旗下 SB Energy 签署 20 年租约,获得俄亥俄州园区约 8 吉瓦 IT 容量,Nvidia 为项目提供最高 1050 亿美元担保并成为独家芯片供应商。Nvidia CEO 黄仁勋称土地、电力和建筑外壳已成 AI 建设最大瓶颈。据《华尔街日报》分析,九家科技公司持有约 3 万亿美元未计入资产负债表的 AI 相关承诺。
英伟达 CEO 黄仁勋透露,OpenAI 已承诺在 2030 年前大规模部署英伟达 AI 基础设施,现有及计划部署合计约 12GW 算力,若扩大合作总规模有望增至约 16GW,对应约 6,000 亿美元业务机会。英伟达将与 SB Energy 合作,在俄亥俄州 PORTS-Pike 园区锁定土地、电力和建筑外壳容量,OpenAI 作为承租方建设并运营 AI 工厂。
NVIDIA 宣布与 SB Energy 合作,锁定俄亥俄州 PORTS-Pike 科技园区的电力容量(LPS)以独家部署 NVIDIA 算力,OpenAI 将成为租户。
推荐理由:NVIDIA以20年租约担保为OpenAI锁定4.25GW容量,把AI工厂重资产负担部分转由自己承担,使高增长实验室能越过资产负债表限制获取算力。
OpenAI 与 SB Energy、NVIDIA 及美国能源部达成协议,在俄亥俄州派克县 PORTS-Pike 科技园区获取约 8 吉瓦电力容量。项目预计在 2032 年前六年建设期内创造 35,000 个建筑岗位和 2,500 个长期运营岗位。
OpenAI 在 OpenAI-Hugging Face 事件后反思低估了模型真实网络攻击能力,正通过四大支柱强化自身安全:用 Codex 验证代码漏洞、用智能体优先分流安全告警、持续枚举攻击路径,并仅向可信防御者开放网络能力。文中演示 ChatGPT Work(基于 GPT-5.6 Sol)15 分钟发现个人网站 13 个问题并在一小时内完成修复。
推荐理由:把防御动作拆成可逐步放开权限的自动化阶梯,从只读扫描到自动关单,比泛泛的全员上 AI 更可落地,安全团队能据此排定试点顺序。
推荐理由:把土地与电力纳入长期算力规划,显示 AI 工厂的约束正从芯片供应转向场地和能源,前沿实验室的扩张成本将更多取决于长期基础设施合约而非单次采购。
OpenRouter 发布 Activity 仪表盘和 beta Analytics API,可按智能体、模型、请求维度查看支出、token 量、缓存命中率等指标,并支持下钻至单条请求日志。
推荐理由:这项功能的价值在于聚合看板能下钻到单次请求,把成本异常直接定位到具体 API key 和任务,内部案例用一行模型替换就修正了每月约 6.2K 美元的误配支出。
DeepSeek 发布 DeepSeek Harness v0.1 开发者预览版,以 MIT 许可开源,项目名为 dsh。该框架基于 Cordis 内核,将模型、工具、技能、会话、沙箱、存储、循环、调度和 UI 均设计为可替换插件,支持 Standard、Code、Minimal、Creator 四种运行模式。
韩国正筹划建设海底数据中心,以解决AI基础设施扩张与陆地资源有限的矛盾。韩国海洋水产部选定蔚山开展示范项目,计划将服务器装入大型舱体沉放到20m深海底,最多可容纳10万台服务器,试点项目耗资511亿韩元(约合2.43亿元人民币),测试最快今年启动。舱体需承受标准大气压3倍压力,目标让设备水下连续工作5至7年,项目由韩国海洋科学技术院牵头,SK电讯、乐天建设和浦项制铁参与。
火山引擎飞连升级AI办公安全能力,针对Work Agent、Coding Agent、AI网站等工具提供AI资产可视、使用治理、运行保护和数据防泄露,实现从风险发现到追溯的全链路防护。
TrendForce 集邦咨询预估,液冷于 AI 芯片的渗透率将从 2025 年约 33% 上升至 2026 年 53%,成为高端 AI 基础设施标准配置。英伟达、AMD 等芯片方案已全面采用液冷,谷歌在 CSP 中率先导入,覆盖其 AI 服务器比例超 80%。
据彭博社报道,Stripe 正以超过 70 亿美元收购 AI 初创公司 OpenRouter。OpenRouter 帮助客户按需求和预算挑选不同 AI 模型,拥有 800 万用户、接入超 400 个模型,5 月刚完成 1.13 亿美元 B 轮融资,估值 13 亿美元。此次收购将让 Stripe 切入 token 经济。
The most famous AI tool migrated Solid to React with an agent: +266K/−193K edits. That direction is easy. React's model makes the author hold all the complexity; Solid's graph holds it for you. React asks you to predict. Solid asks you to read. https://x.com/i/article/2088771846485213184
Together AI 在专用模型推理平台推出端点级 A/B 实验功能,支持 1 个 control 和最多 20 个 variant 的固定流量分流,用于在真实用户曝光下比较候选模型。
Together AI 在 DeepSWE 全部 113 个任务、每任务 4 次试验(共 904 次 rollout)上对比 DeepSeek V4 Pro 0813 与 Claude Fable 5。
推荐理由:原文基于同一批 904 次 rollout 的实测数据,给出两模型在 DeepSWE 上的成本与互补性对比,以及可复用的级联路由结果。
vLLM-Omni 团队发布 Distributed Layerwise Offload(DLO),通过 meta device + mmap 加载、权重分片 + AllGather、双缓冲预取和 DP 多并发四项技术,让超过单卡 HBM 容量的视频生成模型(如 Cosmos3-Super 64B/124 GB)能在多 NPU 或 GPU 上运行。
Replit 发布面向企业规模化治理的三项更新:Comprehensive Audit Logs 覆盖部署、身份、密钥和智能体活动等 50 多个事件,支持向 Datadog、Splunk、Amazon S3 及通用 webhook 流式输出,默认保留 30 天;Admin API 进入 beta,提供 5 个端点用于获取用量、工作区、成员和项目数据。
支付巨头 Stripe 已敲定收购 AI 基础设施初创公司 OpenRouter,金额超 70 亿美元(约合 473.24 亿元人民币),较其上一轮融资估值溢价逾 5 倍。OpenRouter 提供统一入口,帮助用户在不同 AI 模型间按需求与预算选择,平台全球用户达 800 万,可访问超 400 种模型。该公司今年 5 月完成 1.13 亿美元 B 轮融资,估值约 13 亿美元。
DeepSeek API 峰谷定价方案今日(8月17日)正式生效,高峰时段(北京时间9:00-12:00、14:00-18:00)价格为空闲时段的两倍。以deepseek-v4-flash为例,高峰时段百万tokens输出价格为9.0元,空闲时段为4.5元;deepseek-v4-pro高峰时段百万tokens输出价格达27.0元。此前DeepSeek V4 Pro百万tokens输出价格为6元。
Stripe 已敲定收购 AI 模型网关初创公司 OpenRouter 的交易,据彭博社报道交易金额超过 70 亿美元。OpenRouter 帮助客户按需求和预算选择不同 AI 模型,今年 5 月刚完成 1.13 亿美元 B 轮融资,估值 13 亿美元,自称拥有 800 万全球用户并接入超 400 个模型。上月《华尔街日报》曾报道双方在洽谈收购。
小红书 8 月 14 日发布 dots3-note preview 开源大模型,华为昇腾 Atlas 800 A3、Atlas 900 A3 SuperPoD 超节点已完成全量适配,并基于 vLLM Ascend 推理引擎提供部署与推理能力。
Simon Willison 用 GPT-5.6-Sol 构建了 CORS Chat,一个用于测试 Qwen 3.8 27B 在 LM Studio 上运行的 Web 聊天界面。
据《华尔街日报》报道,英伟达与 OpenAI 就俄亥俄州超大规模数据中心园区融资达成协议,但英伟达担保规模从 2500 亿美元下调至不足 1200 亿美元,以回应投资者对风险敞口的担忧。英伟达将为项目一期(总功率约 5 吉瓦)提供融资担保,后续再决定是否支持剩余部分;OpenAI 计划数日内签署该项目 10 吉瓦容量的约束性租约。交易最快有望本周末签署。