NVIDIA 技术博客:如何为 AI 推理规划 GPU 规模并优化 TCO 避免超支
NVIDIA 技术博客发布一套 AI 推理 GPU 规模规划框架,围绕用例、token 模式、TTFT 等延迟指标、并发、缓存命中率、模型选择和部署策略给出 sizing 方法,并提出 core-and-flex 容量策略平衡 capex 与 opex。
NVIDIA 技术博客发布一套 AI 推理 GPU 规模规划框架,围绕用例、token 模式、TTFT 等延迟指标、并发、缓存命中率、模型选择和部署策略给出 sizing 方法,并提出 core-and-flex 容量策略平衡 capex 与 opex。
中国最大内存制造商长鑫存储(CXMT)首次小批量生产HBM3E芯片,该高速内存用于当前多款AI处理器。据The Information援引两位知情人士报道,阿里巴巴旗下平头哥和寒武纪正在测试该内存,计划2027年起在产品中使用。CXMT在技术上落后三星、SK海力士和美光三至五年,良率约25%,其上海IPO募资86亿美元但招股书未将资金用于HBM。
长鑫存储已启动 HBM3E 内存的风险试产,计划到今年年底将 DRAM 月产能提升至 35 万片晶圆。按 JEDEC 规范,HBM3E 采用 1024-bit 位宽,典型配置下总带宽可达 1.2TB/s,8 层堆叠容量为 24GB、12 层堆叠为 36GB。凭借此前从风险试产快速过渡到量产的能力,其 HBM3E 有望在数周内进入大规模量产阶段。
智谱在2026年半年度业绩发布会上披露,下一代大模型将采用大基座路线,暂不披露具体参数,后续围绕基座开展中训练、后训练。公司已针对下一代模型开展推理侧预研,目标实现发布首日即可支持满规模业务调用。智谱同日发布半年报,营业总收入9.54亿元,同比增长399.7%,归母净利润-20.71亿元,亏损同比收窄12.1%。
智谱 2026 年上半年实现营业收入 9.54 亿元,同比增长 399.7%,云端部署收入占比提升至 86.5%,开放平台及 API 业务收入同比增长超 27 倍。期内归母净亏损 20.71 亿元,同比收窄 12.1%,经调整净亏损率同比收窄 3.5 倍。MaaS 平台用户数超 740 万,较年初增长 144%,付费日活用户增长 603%。
Google Cloud AI Research 等团队发布 EnvHarness,一个通过标准 reset()/step() 接口包装静态环境、在不改动模拟器与人工验证器前提下重塑任务的可编程层。
Fireworks AI 宣布 Training API 正式可用,并推出 Fireworks Lab 服务,提供 Serverless(LoRA、按 token 计费)和 Dedicated(支持全参数训练、按 GPU 小时计费)两种算力选项。
瑞金医院联合华为云发布瑞智病理大模型 RuiPath 2.0,7B 参数覆盖 19 个常见癌种,诊断任务增至 205 项,可覆盖病理医生 90% 以上日常诊断场景。
前 a16z 生物基金负责人 Vijay Pande 去年 6 月离职,与 Zach Werner 共同创立新基金 VZVC,每年只做少数几笔集中押注,不设分析师职位,日常运营高度依赖 AI。他认为 AI 正将生物学从“发现科学”转向可工程化领域,但指出生物数据无法像文本那样从互联网抓取,各公司只能自建封闭数据集,这成为 AI 医疗进展的关键制约。
国家数据局在2026中国国际大数据产业博览会上披露,截至7月底全国智算总规模达245万PFLOPS(FP16),八大国家算力枢纽和三个算电协同发展区已建成智算规模占全国比重超85%。其中145万PFLOPS智能算力已纳入国家级监测调度平台。另据国家数据发展研究院院长胡坚波介绍,2025年我国智能体专利授权量超3400件,增速为上一年的两倍以上。
LAION 发布 Big Video Dataset(BVD),从 CommonCrawl 的 13 亿视频 URL 中下载了 8000 万个视频,总计 1000 万小时,并提取了 5500 万个带自动生成描述的视频片段和 3 亿张静态图像。
国家数据发展研究院院长胡坚波在 2026 数博会开幕式上表示,2025 年我国智能体专利授权量超过 3400 件,增速是上一年的两倍以上。截至 2026 年 6 月底,我国智算规模达 240 万 PFLOPS,半年增长 50.9%;2025 年数据产业规模达 6.78 万亿元,同比增长 15.7%。截至 2026 年 3 月,全国日均词元调用量突破 140 万亿,两年间增幅超千倍。
国家数据局在2026中国国际大数据产业博览会上披露,截至今年8月,全国已建成高质量数据集超12.6万个,总体量超1815PB,较一季度末增长超89%。国家数据集管理服务系统自今年4月上线以来已发布数据集超1700个。本届数博会首次举办“数据集市”,95家数据企业带来精品数据产品253个。
Voice Arena 与 Hugging Face 合作,为 Open ASR 排行榜引入 Monsoon en-IN 和 Monsoon hi-IN 两个评测集,覆盖印地语与印度英语,其中印地语是该排行榜多语言板块首个非欧洲语言。数据集含公开与私有分割,共 4,888 位说话人,并记录 12 项说话人属性,旨在暴露按地区、年龄、性别等维度分布不均的语音识别误差。
推荐理由:把评测单元从单一 WER 下探到带 12 项说话人属性的分组,能暴露模型在不同地域、口音、设备上的表现差异,让 ASR 选型不再只看平均错误率。
Anthropic 研究员 Chen Yueh-Han 团队发布论文,展示自动化系统在 10 个对齐基准上全部提升模型表现且不损害整体性能。系统模拟传统研究流程,搜索文献、提出方法并训练 30 分钟,迭代优化。论文称最佳 AAR 方法平均 6 小时内超越人类专家提议,成本约每小时 $4 API 推理,远低于人类研究员的 $150。
Z.ai 与 Qwen 各自独立推出了近乎相同的架构:3:1 线性混合、压缩索引器、门控残差与 Muon 训练。两家中国 AI 实验室在未互通的情况下,于模型设计上实现了趋同。
Databricks 为 Genie One 推出新功能,帮助用户将 AI 生成的洞察直接转化为实际行动。新功能聚焦于从“回答问题”到“执行任务”的延伸,使用户能在同一界面内基于分析结果触发后续操作,减少来回切换工具的成本。具体功能细节与可用性未在原文中详述。
美团 CEO 王兴在二季度财报电话会议中表示,AI 对美团是一次组织、产品和工作流程的全面升级,公司不会成为“Token 工厂”,模型和 AI 产品将用于支持主业,提升用户、商户体验和经营效率。美团曾于今年 6 月末发布新一代万亿参数大模型 LongCat-2.0,总参数 1.6 T,平均激活约 48 B,原生支持 1M 超长上下文。
Google DeepMind 启动首个专有前沿 AI 模型的双盲评估试点,与新加坡 AI 安全研究所等合作,在 Gemini Flash Lite 系列模型上运行。
SK 海力士 CEO 郭鲁正表示,AI 带动的内存半导体供应短缺将持续到 2030 年底,当前没有明显迹象表明市场即将进入下行周期。他认为 HBM 等 AI 产品正演化为定制化商品,客户需从早期阶段与厂商合作,因此即便进入下行周期,HBM 需求也不会大幅下降。
蚂蚁百灵今日推出金融增强模型 Ling-3.0-flash-Fin,延续 Ling-3.0-flash 架构,保持 124B 总参数、5.1B 激活参数,模型权重将于下周开源。
蚂蚁集团联合中金等机构发布金融增强模型 Ling-3.0-flash-Fin,延续 Ling-3.0-flash 架构,保持 124B 总参数、5.1B 激活参数,通过金融语料持续预训练强化年报、财务工作簿等复杂内容处理。
Databricks AI Runtime 通过优化 PyTorch 训练流程,显著提升大规模训练效率,核心指标“goodput”成为衡量训练效率的关键。该方案在故障容错与性能之间取得平衡,减少因节点故障导致的训练中断与重启开销,从而提升整体吞吐量。适用于需要长时间稳定运行的大规模分布式训练场景。
一项新诉讼指控 xAI 使用儿童性虐待材料(CSAM)训练 Grok 模型,这是首个此类指控。原告 Jane Doe 称其幼年遭虐待所生成的 CSAM 图像及 AI 生成的衍生图像被用于训练 Grok,且 Grok 默认将公开的 X 帖子和自身输出作为训练数据。诉讼要求 xAI 销毁所有 Grok 生成的 CSAM 并阻止模型再生成此类内容。
推荐理由:这起诉讼的关键不是单一侵权,而是起诉方把用户公开帖子和模型输出默认进入训练管道视为系统性风险,若成立可能推动平台将 CSAM 过滤从内容审核前移到训练数据治理。
The AI detector industry should be very uncomfortable reading this MIT report. The strongest institutional rejections yet, direct from MIT. "we recommend against relying on AI detectors. " "As it risks an arms race in which students respond to automated detection by using increasingly powerful “AI humanizers” to remove signals that AI detectors are cued to catch. The result: a lot of effort on both sides that in the end serves no one." The report argues that mixed human/AI writing is difficult to detect, detectors can be evaded by “AI humanizers,” false positives can harm students, and heavy policing creates distrust. AI detection systems may also mistake the writing of non-native English speakers or neurodivergent students for text generated by AI. Even low rates of false positives can put students on edge and cause serious individual consequences."
MIT JUST CANCELED “AI DETECTORS” IN A NEW REPORT! MIT just kicked the detector industry in the teeth. They kicked to the curb unless “AI Detectors” and just wrote a manifesto to all schools to do the same. Its end days for The Slop Janitor and his Pentagram Slop. Read the full article below (rated 100% AI even though I wrote each word myself):
亚马逊宣布将于 9 月 30 日关闭旗下已运营 21 年的众包平台 Mechanical Turk(MTurk)。该平台自 2005 年上线,主要用于图片标注、内容审核、语音转录等人工任务,外界认为其正被 Scale AI、Mercor、Prolific 等数据标注新兴企业取代。
Anthropic 与英国云初创公司 Nscale 达成约 450 亿美元算力租赁协议,为期六年,将从明年底起使用西弗吉尼亚数据中心 460 兆瓦的 Nvidia Vera Rubin 芯片。
截至 2026 年 6 月,我国日均词元调用量已突破 500 万亿,中国大模型在全球竞争中位居第一梯队。当前旗舰模型几乎以月为单位更新,竞争焦点转向智能体落地与生态建设,推理算力需求随之爆发。腾讯混元 3 正式版上线第一周,Token 调用量比上一代混元 2 增长 68 倍。
推荐理由:模型更新周期缩短至4到6周,且智能体任务的多轮调用说明推理算力需求上升,对算力产业链的判断需从训练侧扩展到推理侧。
火山引擎在2026世界机器人大会上发布具身智能解决方案,提供从数据采集、处理、标注、管理、仿真到训练的全链路数据闭环。目前国内估值TOP20的具身智能企业中已有15家与其达成深度合作。方案包括Seedance视频生成用于数据增广、豆包大模型VLM实现90%+准确率的自动化标注,以及多模态AI数据湖底座。
谷歌证实正在搜索结果链接中逐步推广“goto”跳转参数,用户点击链接将先经过带有“google.com/goto”参数的中转地址,而非直接指向目标网页。该机制旨在通过服务端重定向提高自动化工具批量解析和抓取搜索结果的难度,以应对第三方工具及 AI 公司的抓取行为。SEO 监测平台 Nozzle 数据显示,该变更在多个住宅 IP 服务商环境中覆盖率已接近 100%。
英伟达CEO黄仁勋在财报电话会上调侃称,2026年最佳美股交易策略是看他和谁吃饭,第二天对方股价就会翻倍。英伟达2027财年第二季度总营收达962.21亿美元,同比增长106%,超华尔街预期;公司给出第三季度营收指引为1,080亿美元。该季度毛利率保持在75%,但受存储等元器件成本上升影响,预计下季度将降至74%。
Google Research 与 UNSW Sydney 发布自监督基础模型 GlucoFM,将血糖轨迹拆分为缓慢的生理“状态”流与瞬态“事件”流,并以两个 JEPA 式目标预训练。
英伟达 CEO 黄仁勋周三为公司在 AI 行业的融资参与辩护,称这是首个需数百亿美元融资才能发展的初创行业,并强调英伟达投资风险很低。英伟达已为俄亥俄州算力园区提供 1,050 亿美元支持,并与华尔街合作筹集最高 5,000 亿美元数据中心融资。公司 2027 财年第二季度营收达 962 亿美元,数据中心业务同比增长 117%。