Cohere 发布首个围绕 decode megakernel 构建的完整 LLM 文本生成服务系统,性能最高比 vLLM 快 1.58x。该系统为 North Mini Code 打造,完全开源。
#部署/工程
Cohere@cohereAI 评分5151Claude:Blog精选AI 评分6767 Anthropic 发布 Claude Platform 降本指南并更新 claude-api 技能
Anthropic 介绍用 Claude Platform 降低成本、保持性能的三种方法:提高提示词缓存命中率、升级到前沿模型时清除提示词反模式、按任务校准 effort。
推荐理由:官方给出了提示词缓存、反模式清理和 effort 校准三类降本方法及实测数字,可直接迁移到自己的 Claude API 应用。
Tianyi Cui@tianyiAI 评分5252引用Tianyi Cui@tianyiDeepSeek 社招资深后端/服务端工程师,新开放约 150 个 HC,好多好多新方向新系统新需求需要搞。简历建议直接扫码或邮箱投递,私信我简历的话会看但不一定能及时处理。
ClaudeDevs@ClaudeDevs精选AI 评分6868Anthropic 团队文章指出,优化 prompt cache 命中率、清除升级到前沿 Claude 模型后的提示词反模式、校准 effort 三个手段可在不牺牲性能的情况下降低成本。
推荐理由:官方团队给出提示词缓存、反模式清理和 effort 校准三条降本路径,并用公开基准实测数字支持,方法可迁移到自己的 Claude 应用。
TechCrunch:AIAI 评分5757 Google Cloud 与 Accenture 成立 Gemini Enterprise 业务组加码企业 AI 部署
Google Cloud 与 Accenture 成立 Accenture Gemini Enterprise Business Group,Google 将培训至多 1,000 名 Accenture 前置部署工程师,帮助企业在 Gemini Enterprise 平台上构建定制 AI 应用。
IT之家·人工智能AI 评分6767 高通与亚马逊达成合作,共同开发 AI 定制芯片与 1.6T 光互连方案
高通宣布与亚马逊达成跨多代合作,为大规模 AI 数据中心共同打造可规模化的定制芯片,并基于 SerDes 和光学 DSP 技术开发最高 1.6T 速率的光互连方案。
IBM Research:AIAI 评分5151 IBM Research 展示用 llm-d 在 544 块 NVIDIA H100 上服务 GLM-5.2 智能体负载
IBM Research 联合 Red Hat、Google 的开源项目 llm-d 展示在 544 块 NVIDIA H100 GPU 上部署 753B 参数的开放权重 MoE 模型 GLM-5.2(约 39B 激活),在数百到 3000 个并发编码智能体负载下峰值输出超 6.6M tokens 每分钟,零抢占。
IT之家·人工智能AI 评分6363 微软提出让每张办公桌每个家庭拥有不受限制的智能的新愿景
微软 Windows 与设备销售企业副总裁 Mark Linton 在 IFA 2026 上提出新愿景,让每张办公桌、每个家庭都拥有不受限制的智能,即本地运行日常 AI 模型、云端只留给复杂任务。
Google AI:DEV 作者专属AI 评分5252 Google AI 教程:用 Data Studio 搭建交互式 AI 评测仪表盘
Katie McLaughlin 在 Google AI 的 AI 评测系列最终篇中,介绍如何将 Inspect AI 评测的 CSV 数据接入 Data Studio,通过克隆 Master Dashboard Template 并绑定 Google Sheets 数据源,约 30 秒完成无代码交互式仪表盘搭建。
IT之家·人工智能AI 评分5656 Arm 发布第二代移动计算子系统 CSS for Mobile 2,搭载双 SME2 引擎与神经加速 GPU
Arm 在上海 Arm Everywhere China 活动上发布第二代移动终端计算子系统 CSS for Mobile 2,集成 Arm C2 CPU 集群、Mali G2-Ultra NX GPU 和 SI L2 系统互连,面向智能体 AI 与 AI 原生图形。
IT之家·人工智能AI 评分5252 英特尔 High-NA EUV 晶圆处理量突破 100 万片,超越其他厂商总和
英特尔宣布其 High-NA EUV 设备累计处理的 300mm 晶圆突破 100 万片,距首台设备完成组装不到两年半,处理量已超过行业其他用户总和。该技术已用于 Intel 18A 工艺并量产 Panther Lake 酷睿 Ultra 处理器,目前仍受 6×6 英寸光罩尺寸限制,英特尔正推动行业转向 6×12 英寸光罩以实现 26×33mm 完整视场。
vLLM 官方博客精选AI 评分6363 vLLM x AgentX:面向真实世界智能体推理服务的全栈优化
vLLM 团队发布针对智能体负载优化的博客,基于 SemiAnalysis 的公开 AgentX 基准展示成果:DeepSeek V4 Pro 在 GB300 上达到 83K total tokens/GPU-秒。
推荐理由:vLLM 团队结合 AgentX 实测数据讲解智能体负载的全栈优化方法与失败教训,读者可以借此理解并行策略如何跟随模型架构调整。
vLLM 官方博客AI 评分5454 vLLM 推出 Hybrid HiSparse 优化,让 GLM 5.3 在单节点 8× H200 上跑满 100 万上下文
vLLM 团队为 GLM 5.3 引入 Hybrid HiSparse 混合稀疏卸载,在单个 8× H200 节点上首次实现 100 万完整上下文长度推理。该方法仅在 KV cache 压力出现时才将 top-K 之外的 KV 卸载到 CPU,热页与常驻页共享同一块池和张量,无需抢占或重新 prefill。
Simon Willison 博客AI 评分6161 kernel.org 运维者谈滥用爬虫:14 个 CPU 核心专为爬虫渲染 git 提交页面
Simon Willison 转述 Konstantin Ryabitsev 的观察:git.kernel.org 为应付滥用爬虫的“背景辐射”,在 5 个地理分布节点上常年有 14 个 CPU 核心专门把 git 提交渲染成 HTML,CPU 开销超过包括 git clone 在内的所有合法访问。Willison 担忧这对提供大量可爬网页的 Datasette 也有影响。
SemiAnalysis 长文 RSSAI 评分6565 SemiAnalysis 发布 TPUv7 Ironwood 第三方推理评测,每美元性能最高比 B200/B300 高 50%
SemiAnalysis 在 InferenceX 上发布 TPUv7 Ironwood 的首批第三方推理结果,FP8 聚合服务下 Ironwood 每美元性能最高比 B200/B300 高 50%,在 20 tok/s/user 交互速度下每百万 token 成本约 0.181 美元,低于 B200 的 0.222 和 B300 的 0.276 美元。
MarkTechPostAI 评分6363 OpenBMB 发布 MiniCPM5-2B:2.52B 稠密模型,34 项基准平均 53.9,面向端侧运行
OpenBMB 发布 MiniCPM5 系列第二个 checkpoint MiniCPM5-2B,2.52B 稠密模型,原生 131,072 token 上下文,Apache 2.0 权重,采用标准 LlamaForCausalLM 架构,可通过 vLLM、SGLang、llama.cpp、Ollama 等主流引擎直接运行。
The Decoder:AI News精选AI 评分7777 Anthropic 据报道签约高达 5170 亿美元算力协议,锁定至少 14.8 GW 算力
据 The Information 报道,Anthropic 在十一个月内签署了价值高达 5170 亿美元的算力合同,自 2025 年 10 月以来锁定至少 14.8 GW 算力,并计划自建数据中心。
推荐理由:两家公司在算力扩张上的表态与实际动作形成对照,读者可以借此审视巨额算力承诺与收入规模之间的差距。
MiniMax (official)@MiniMax_AIAI 评分6464引用Enze Xie@xieenze_jr🚀 Sol-H3: @MiniMax_AI H3 Video Generation Faster Than Playback 🤩 Five seconds of world. 1.653 seconds to infer. We’re releasing Sol-H3, our fastest end-to-end MiniMax-H3 inference stack yet. On one 8× NVIDIA B300 Blackwell system, it generates five seconds of 1344×768 video with stereo audio in 1.653 seconds. Across 1×, 4×, and 8× B300, Sol-H3 reaches up to a 15.54× speedup versus Base H3. Compared with 50-step Base H3 Dense on the same 8× B300 system, the four-step Sol-H3 profile delivers: • 5s: 18.250s → 1.653s (11.04×) • 10s: 50.660s → 3.732s (13.57×) • 15s: 99.513s → 6.612s (15.05×) Sol-H3 also scales across GPU counts: • 4× B300: 2.918s / 6.993s / 12.542s for 5s / 10s / 15s (12.11–15.54×) • 1× B300: 13.745s / 37.813s / 52.260s for 5s / 10s / 15s (9.45–14.29×) All figures are medians of three measured runs after one warmup at 1344×768 and 24 FPS with stereo audio. Base H3 uses 50 scheduler points (49 DiT forwards); Sol-H3 uses four DiT forwards, so this is a full-profile comparison—not an attention-only runtime change. Sol-H3 uses Dense attention on 1× B300 and SOL with INT8 QKV / FP8 output transport on 4× / 8×. Timing includes text encoding, DiT denoising, and video/audio VAE decoding; model loading, compilation warmup, and final MP4 encoding are excluded. Sol-H3 brings Sol-Engine × Sol-Attn into one full-stack runtime: • dynamic sparse attention with no retraining • fused norm, RoPE, MLP, and sparse-attention setup • fused INT8 QKV / FP8 output communication across 8 GPUs • parallel, batched VAE decoding • precomputed AdaLN caching Inside the stack: • sparse-attention setup: 1.206 → 0.285 ms (−76.4%) • VAE decode: 7.55 → 0.602 s • ~24 GB memory freed per GPU Any MiniMax-H3 few-step LoRA can plug into the same engine, and the code is deployment-friendly under Apache 2.0. For us, the bigger milestone is crossing from “fast generation” into “faster than playback.” That opens the path toward continuous 24 FPS generation and truly interactive video systems. We’re excited to partner with @reactorworld to release Sol-H3 and make it available as an API day-0. Try it now on Reactor: https://www.reactor.inc/sandbox?model=fast-h3 🔗 https://nvlabs.github.io/Sana/Sol-Engine/Sol-H3/ Amazing team effort—full credits in the blog. @shanasaimoe @lawrence_cjs @yitongli165665 @haopengl33 @HaochengXiUCB @songhan_mit
OpenBMB@OpenBMBAI 评分5656引用SGLang@sgl_projectCongrats @OpenBMB on launching MiniCPM5-2B! SGLang has day-0 serving support, with recipes for @NVIDIAAI RTX PRO 6000, RTX 5090, DGX Spark, and Hopper cards. We are seeing over 250 tok/s/user decode at bs=1 on coding tasks with DSpark enabled on a 5090. It's an ultra-efficient 2B with incredible intelligence density. As of today it leads Artificial Analysis's Intelligence Index among open models under 4B, and scores above models more than 4x its size. This is another step toward general-purpose models running 24x7 on device, even on phones. Run MiniCPM5-2B with SGLang 👇
ByteByteGoAI 评分5757 ByteByteGo 详解 LLM 应用的错误处理与韧性设计
ByteByteGo 发表长文,系统讲解 LLM 应用如何处理错误与故障。文章指出 LLM 应用除网络超时、429 限流、401/403 认证失败、上下文窗口超限等技术故障外,还面临幻觉、输出非法 JSON、工具误调用等语义故障,需将错误分为瞬时、永久、语义三类再对症处理。
Cohere Labs:官方研究博客精选AI 评分6868 Cohere 详解 North Mini Code 的 megakernel 推理引擎,单 H100 上比 vLLM 快 1.25–1.41 倍
Cohere 发布为 North Mini Code 构建的围绕 decode megakernel 的推理引擎,BF16 下单张 H100 端到端解码吞吐比 vLLM 快 1.25–1.41 倍,batch size 1 时达 292 tok/s(SoL 的 62%),代码已在 GitHub 开放。
推荐理由:原文给出手写 decode megakernel 的完整实现细节与真实吞吐数据,读者可以了解如何把现有内核组装成单个持久内核并接入真实服务。
Ars Technica:AIAI 评分6161 Ar Technica 起底 32 亿美元 AI 数据中心背后的复杂企业网络与问责难题
纽约 Somerset 的 Lake Mariner 数据中心(32 亿美元,前煤矿地块)6 月初发生火灾,消防员进入时无可用警报、无灭火系统、三个消火栓失效,本应可供查看的安全文件据称已随大火烧毁。
公众号:卡尔的AI沃茨AI 评分6363 卡尔的AI沃茨分享用手机远程操控Agent的UU远程工作流
作者分享只用手机远程操控Agent跑任务的新工作流,核心工具是UU远程,出门不再随身背1.62kg的MacBook。文中介绍终端完整支持TUI,可正常操作Claude Code、Codex等Coding Agent,多终端会话可并行;支持手机与电脑双向跨端接管,任务进度和运行状态可保留。
IT之家·人工智能AI 评分5555 摩尔线程触及 20cm 跌停,股价创上市以来新低,市值跌破 2000 亿元
摩尔线程 9 月 7 日早盘触及 20% 跌停,股价创上市以来新低,总市值跌破 2,000 亿元。同日其 2,577.45 万股首发网下配售限售股解禁流通,占总股本 5.48%。公司 2026 年上半年营收 17.36 亿元,同比增长 147.42%,归母净亏损 1,156.31 万元,同比收窄 95.73%;另于 8 月 9 日公告拟发行 H 股并申请在香港联交所主板挂牌上市。
Mohamed Moustafa 技术博客AI 评分7474 OpenRouter 实战避坑指南:同一模型在不同供应商表现差异巨大
Olly(iMessage AI 助手)作者基于经 OpenRouter 路由的开源模型处理约 1800 万条消息(约三分之一经 OpenRouter 开源模型)的实战经验,总结使用 OpenRouter 的十大坑。
IT之家·人工智能AI 评分5757 微软发布 AI 快速入门指南,30 分钟即可生成并发布 WinUI 原生应用
微软发布快速入门指南,开发者借助 AI、VS Code、winapp CLI 和 GitHub Copilot 免费版,从空文件夹开始约 30 分钟即可创建并发布 WinUI 3 应用,无需安装 Visual Studio,流程包括让 AI 智能体添加功能、测试、打包成 MSIX 并提交 Microsoft Store。
MarkTechPostAI 评分5353 Nous Research 为 Hermes Desktop 增加一键本地模型安装
Nous Research 在 Hermes Desktop 中将本地模型安装简化为一次点击。应用会读取用户硬件,对照 GPU 对模型目录做适配检查,挑选能装下的最高质量版本并下载,然后自动配置 llama.cpp,同时保证 4-bit 量化下限和 64K 最小上下文窗口。
IT之家·人工智能AI 评分5757 消息称 Kimi、MiniMax 等大模型厂商即将入驻天猫开售 Token 订阅套餐
上海证券报 9 月 5 日独家消息称,Kimi、MiniMax、阶跃星辰等多家大模型厂商正与天猫接洽,拟开店销售 Token 订阅套餐。
IT之家·人工智能AI 评分5353 塔塔咨询将在海得拉巴建设 1GW AI 数据中心园区,投资达 7000 亿卢比
塔塔咨询服务公司宣布旗下子公司 HyperVault 已取得 264 英亩土地,将在印度海得拉巴建设规划容量 1GW 的 AI 数据中心园区,HyperVault 及合作伙伴预计投资高达 7000 亿印度卢比(约合 497.87 亿元人民币)。
IT之家·人工智能AI 评分6161 北京经开区落地首批 Token 词元算力贷,首批授信近 20 亿元
北京经开区推出的“亦企 Token(词元)贷”首批业务落地,为全市首批 Token 算力贷,农业银行、中信银行等 6 家银行向区内人工智能产业链企业提供总金额近 20 亿元授信。
X.PIN@thexpinAI 评分5959文章分析内蒙古乌兰察布为何成为中国增长最快的 AI 算力集群之一,核心论点是中国把电力而非芯片视为 AI 竞赛的关键约束,将发电作为数据中心本身的一部分来建设。
MarkTechPostAI 评分6565 NVIDIA 发布开源虚拟推理路由器 PAIR,将本地 AI 请求分发到 RTX、DGX Spark 和 Mac 节点
NVIDIA 本周发布开源虚拟推理路由器 PAIR(v0.1.1 公测),自动发现局域网内设备并把独立推理请求调度到不同节点,模型仍由 Ollama 或 LM Studio 执行。
Rohan Paul@rohanpaul_aiAI 评分4848
Rohan Paul@rohanpaul_aiAI 评分4343IT之家·人工智能AI 评分5252 微软公布 Zenith 计划,面向开发者推出预配置 Win11 Pro 开发 PC
微软宣布 Zenith 计划,将与硬件合作伙伴从今年晚些时候起推出预装特殊配置 Windows 11 Pro 的开发者 PC,首批采用 AMD Ryzen AI Halo 平台。
Rohan Paul@rohanpaul_aiAI 评分5959引用Michael Dell 🇺🇸@MichaelDellWe have delivered the world's first production @nvidia Vera Rubin NVL72 racks to @CoreWeave. Special thanks to our @DellTech teams who make it happen! 🚀
TechCrunch:AIAI 评分5959 AI 算力公司 Nscale 拟在 IPO 前融资 35 亿美元
英国 AI 基础设施公司 Nscale 计划最早于本月内上市,据 Bloomberg 报道正在洽谈上市前融资,拟向投资者出售 15 亿美元可转换票据,并向 Nvidia 寻求另外 20 亿美元融资。