vLLM 如何用 GB300 NVL72 为 Kimi K3 训练最快的 DSpark 投机解码模型
vLLM 团队扩展 Speculators 训练库,为 2.8T 参数的 Kimi K3 训练出 DSpark 投机解码 draft 模型,将数学推理单流交互速度从约 110 提升至约 435 tok/s/user,并发负载下输出吞吐最高提升约 3.5 倍。
vLLM 团队扩展 Speculators 训练库,为 2.8T 参数的 Kimi K3 训练出 DSpark 投机解码 draft 模型,将数学推理单流交互速度从约 110 提升至约 435 tok/s/user,并发负载下输出吞吐最高提升约 3.5 倍。
NVIDIA 技术博客讲解 dense 与 MoE 架构在参数激活、吞吐和部署上的差异,以 Nemotron 3.5 Lightning 为例说明 MoE 每词元仅激活约 3B 参数、总参数 30B 仍需约 60 GB 显存。文章给出按显存预算、并发、微调和量化需求选型的建议,并对比 Gemma 4 31B、Qwen3.8-27B、Mistral Small 4 等模型的输出速度与价格数据。
Google 开发者博客发布零信任智能体系列第二部分,把安全检查从构建期移到 Gemini Enterprise Agent Platform 运行时,用 Model Armor、Semantic Governance Policies 和 Agent Anomaly Detection 三项托管控制拦截构建期规则放过的攻击。
LangChain 梳理 Madrigal Pharmaceuticals、Abridge、Vizient 三家机构的医疗智能体建设经验:Madrigal 搭建企业级多智能体平台,Abridge 将医患对话转为临床文档并支持贯穿临床流程的常驻智能体,Vizient 用 GenAI 平台查询孤立的医院数据。
Anthropic 与 Accenture 联合发布帮助 CIO 和技术负责人把 AI 项目从试点推进到生产的实用蓝图。指南引用 Accenture 2026 年 7 月报告称仅 23% 的高管认为 AI 项目取得持续的企业级影响,并列出按时间顺序的七项考量、四部分任务定义、轻量总拥有成本模型、四层监督模型及决策过渡蓝图。
LangChain 发布长文,复盘自建付费媒体 Agent 的构建过程并已开源。该 Agent 运行在 Slack 中,半年内将付费渠道贡献从 0 提升至营销管线的 20%,合格线索成本(CPL)从 6 月到 8 月下降 30%。
推荐理由:LangChain 亲述自建付费投放 Agent 的架构与实测数据,五层上下文和单一运行时等经验可直接迁移到其他 Agent 工程。
OpenRouter 发布教程,讲解如何用独立的裁判模型按自定评分标准自动给 AI 智能体输出打分,覆盖确定性测试无法检查的开放式回答质量。
推荐理由:原文给出 LLM-as-a-judge 的适用边界、偏差来源和用 Ori Eval 落地的可复用步骤,还包含用人工标注校准裁判模型的方法。
vLLM 团队详解 Kimi K3 从 v0.27.1 到 0913 main 的服务性能优化,在 8K/1K、TP8、B300 节点测试下延迟降低 56%–60%,吞吐提升 2.2–2.8 倍,TTFT 降低 72%–85%。
GitHub 日韩地区营销负责人 Tomoko Tanaka 分享如何不写代码,把活动运营交给 GitHub Copilot 自动化。
推荐理由:作者以自身营销工作为例,展示了用 Issue、Actions 和 SKILL.md 复用开发者治理流程落地自动化的完整路径。
OpenAI 发文(系列上篇)讲述其在线存储平台 Habitat 的演进:现每秒处理超 7000 万请求、服务每周超 10 亿用户、管理超 500PB 数据,覆盖近 40 个地区。
推荐理由:原文披露了 Habitat 从 Python 库到 Rust 服务的完整演进细节,含 asyncio 调优、连接池等可迁移经验。
Google 发布 autofinetune 项目,把 autoresearch 的自主研究循环应用到 LLM 后训练(SFT 和 GRPO),使用 Tunix、Gemma、Cloud TPU,由 Antigravity CLI 和 Gemini Flash 3.7 编排。
OpenRouter 通过 OpenAI 兼容的 POST /api/v1/audio/speech 端点提供文本转语音服务,一个 API key 可调用多家供应商的 TTS 模型。
OpenAI 针对编码智能体发布指南,说明迁移到 GPT-6 Astra 后应重写 skills、AGENTS.md 和任务提示词,避免旧指令拖慢工作。要点包括技能描述要尽量短并遵循渐进式披露、删掉强制通读文档的指令、Astra 会自主运行测试但可能提前停下,需要用户在 AGENTS.md 中定义完成标准并授权安全工作流。
推荐理由:来自 OpenAI 官方,针对 GPT-6 Astra 给出技能、AGENTS.md 和提示词的迁移调整方法,读者可直接对照清理自己的仓库指令。
OpenRouter 发布 Presets 使用教程,preset 是一个命名且带版本的配置,统一存放模型或 fallback 列表、system prompt、provider 路由和采样参数,在任何请求中以 "model": "@preset/名称" 引用。
GitHub Copilot 应用新增 diff、终端、浏览器三个内置面板,让初学者在不离开应用的情况下完成 AI 智能体改动的审查、运行和预览。diff 面板以红绿高亮显示增删改行,用户可接受、评论或要求修改;终端面板可运行项目命令并支持多窗口,浏览器面板配合 Pick & Polish 工具选中界面元素让智能体调整,最后可直接在应用内接受变更并创建 pull request。
LlamaIndex 博客提出 just-in-time Agentic OCR 模式:先用 LiteParse 等免费解析器粗读全部文件供检索,再仅对相关页面调用 VLM 做 OCR。
推荐理由:作者用 84 份 SEC 文件实测两遍式文档处理流程,给出明确的适用边界和成本数字,方法可直接迁移到自己的数据室场景。
Credit Genie 的 AI 与 ML 工程团队采用 LangChain 开源仓库文档智能体 OpenWiki,自动生成并维护代码库文档,解决文档过时与"部落知识"问题。
Mistral 帮助一家欧洲能源运营商将 40,000 行 Fortran 77 的油藏模拟器迁移到 C++,该代码库无测试套件且文档分散。团队先搭建数值一致性验证工具,用 Vibe CLI 生成调用树并派出百余个 Agent 补齐文档,最终采用由人类把关的 coder、tester、reviewer 结构化工作流逐模块迁移。
推荐理由:来自一线项目复盘,给出了迁移前搭建数值一致性验证、用 Agent 分工工作流等可直接迁移到其他遗留系统改造的经验。
Google Developers Blog 发布关于 AI 编码 Agent harness 工程的实践文章,主张用行为评估补充 Terminal-Bench、SWE-bench 等端到端基准。
推荐理由:Google 团队分享用行为评估迭代和守护 AI 编码 Agent 的方法,给出可复用的三步测试循环与示例代码。
Together AI 发布深度解析文章,介绍开发者从闭源模型转向开源模型所需的 AI 编码栈,提出由 Model、Inference、Gateways、Harness、Tools 组成的 MIGHT 框架。
推荐理由:原文给出开放权重模型编码栈的分层框架,读者可据此按任务选模型、按价格选供应商并保持工作流稳定。
OpenRouter 发布教程,演示通过 API 向 google/gemini-3.1-flash-image(即 Nano Banana 2)发送源图和文本指令完成图像编辑,编辑结果以 base64 形式在响应中返回。教程给出 Python 和 TypeScript 示例、提示词写法、多轮小步编辑方法,以及更换模型只需改一个字段,并介绍了 Nano Banana 系列四个成员的价格与质量差异。
推荐理由:原文给出完整可运行的图像编辑请求代码和提示词写法,读者可以照搬并把模型换成其他供应商做对比。
LangChain 在最新版 deepagents 中引入子智能体上下文模式,支持 "isolated" 和 "fork" 两种取值,fork 模式让子智能体继承 supervisor 的完整对话而非从空白上下文开始。
推荐理由:文章解释了 isolated 与 fork 两种上下文模式的取舍,并给出 worker、verifier 等场景的选择方法,可迁移到自己的多智能体设计。
Anthropic 介绍用 Claude Platform 降低成本、保持性能的三种方法:提高提示词缓存命中率、升级到前沿模型时清除提示词反模式、按任务校准 effort。
推荐理由:官方给出了提示词缓存、反模式清理和 effort 校准三类降本方法及实测数字,可直接迁移到自己的 Claude API 应用。
IBM Research 联合 Red Hat、Google 的开源项目 llm-d 展示在 544 块 NVIDIA H100 GPU 上部署 753B 参数的开放权重 MoE 模型 GLM-5.2(约 39B 激活),在数百到 3000 个并发编码智能体负载下峰值输出超 6.6M tokens 每分钟,零抢占。
vLLM 团队发布针对智能体负载优化的博客,基于 SemiAnalysis 的公开 AgentX 基准展示成果:DeepSeek V4 Pro 在 GB300 上达到 83K total tokens/GPU-秒。
推荐理由:vLLM 团队结合 AgentX 实测数据讲解智能体负载的全栈优化方法与失败教训,读者可以借此理解并行策略如何跟随模型架构调整。
Cohere 发布为 North Mini Code 构建的围绕 decode megakernel 的推理引擎,BF16 下单张 H100 端到端解码吞吐比 vLLM 快 1.25–1.41 倍,batch size 1 时达 292 tok/s(SoL 的 62%),代码已在 GitHub 开放。
推荐理由:原文给出手写 decode megakernel 的完整实现细节与真实吞吐数据,读者可以了解如何把现有内核组装成单个持久内核并接入真实服务。
OpenAI Developers 博客展示作者用 Codex 中的 Astra 将一段房屋设计简报逐步发展为可编辑的 Blender 3D 场景,涵盖建筑、家具、材质、灯光与地板图,并经 Cycles 渲染出 30 秒 900 帧 1080p 相机漫游。
推荐理由:作者完整记录了用 Astra 在 Blender 与 Unreal Engine 5 中迭代搭建可编辑 3D 场景的流程、提示词与导出管线,方法可迁移到自己的场景设计项目。
OpenAI 开发者博客分享了用 Astra 在 Codex 中构建太空探索游戏 Void Explorer 的完整过程。游戏包含 2,048 个星系和超过 10,000 颗程序化生成的行星,可从太空穿越大气层降落并步行。
推荐理由:原文以 Void Explorer 为例,展示了如何用 Astra 从体验描述、视觉参考到可测试的浏览器接口完成游戏开发,方法可迁移。
GitHub Copilot app 支持并行运行多个智能体会话,每个会话独立运行并保留各自上下文,可随时切换而不需重新说明任务。每个会话可运行在自己的 Git worktree 上实现隔离,作者以 tailspin-toys 仓库为例演示同时进行添加 funded sort 功能、无障碍审查和运行测试三个任务,用户在 sessions 视图中跟踪进度并审阅结果。
NVIDIA 发布教程,讲解在 Jetson 上部署新一代开放推理模型的方法,以 Nemotron 3.5 Lightning 和 Qwen3.8-27B 为例。
推荐理由:官方教程给出模型选型、NVFP4 量化与投机解码配置和实测吞吐数据,可迁移到自己的 Jetson 部署流程。
NVIDIA 团队基于 NemoClaw 构建了一个记忆驱动的 Chief of Staff 智能体,用结构化 Markdown 的 self model 维护人员、项目和优先级等长期记忆,并通过 NVIDIA OpenShell 沙箱在运行时强制安全边界。
LangChain 梳理了欧洲与中东企业规模化部署 AI 智能体的经验:施耐德电气由 350 人 AI Hub 支撑 60+ 智能体,monday.com 将 AI 助手 Sidekick 从单一通用智能体重构为子智能体。
Meta 发布技术博客,介绍其为合规领域构建的 AI Agent,用结构化知识系统加可组合 recipes 复现专家推理方式,专家反馈经诊断、编译、验证和人工审核后写入 200+ 知识文件,无需重新训练模型。六周三轮开发后,单项评估时间从数天缩短到数分钟,改进周期内零回归,每轮修复自动加入回归测试集。
GitHub Podcast 一期节目配套文章由 Cassidy Williams 与 Marlene Mhangami 等解读当下 AI 开发常见新术语。
GitHub 工程师 Erik Kristensen 分享了 Copilot 降本的四项改动:选择性压缩工具输出、移除 view 工具行号前缀(线下推理成本降约 5%,线上用户日均推理成本降约 3%)、压缩 task-tool 提示词(每轮省约 1300 token,每活跃小时归一化成本降 2.9%)、后台任务完成后直接交付结果(AI Credits 用量降约 2.3%)。
推荐理由:GitHub 用四项改动说明压缩 token 为何要看整个任务而非单次调用,并给出可复用的评估方法与踩坑教训。
Anthropic 发布构建电商智能体的指南,总结架构、延迟与成本优化、生产运维三部分实践,涉及购物和商家两类智能体,企业客户部署后出现购物车变大和卖家运营效率提升。核心建议包括用单个智能体加技能而非子智能体、将 UI 组件做成工具、用提示词缓存实现 90-99% 命中率、在 harness 中强制安全规则,并开源参考实现 anthropics/commerce-agents。
推荐理由:Anthropic 根据多个企业部署经验总结电商智能体架构、延迟成本优化和生产实践,并附参考实现,可迁移到类似 Agent 项目。
Google for Startups AI Agents Challenge 评审团队从各赛道头部参赛作品中提炼出 4 种共同工程模式。
推荐理由:从获奖参赛代码中提炼出四个可直接套用的工程模式,涵盖 MCP 双向暴露、事件驱动并发、回退校验和分层路由。
Baseten 发文解析开源模型后训练的成本驱动因素,指出活跃参数量是 RL 后训练成本的最大来源,总参数和 KV cache 主要限制推理速度,并按成本档位推荐 DeepSeek-V4-Flash、GLM-5.2、Kimi K2.6、Kimi K2.7 Code、Nemotron-3-Super-120B 和 Qwen3 系列。选型建议关注库支持、基准表现和后训练循环成本三方面。
推荐理由:原文把后训练成本拆解为活跃参数、总参数和 KV cache 三个因素,并按成本档位比较了多款开源模型,方法可直接迁移到选型。
OpenAI 发布文章,介绍 Basis、Clay 和 Exa Labs 用 Agent 承接员工入职、账户管理和开发者集成的工作流。Basis 把入职从 2 小时缩短到 30 分钟,Clay 的子智能体每天夜间更新各账户上下文,为销售省下约 1 小时邮件分拣,Exa 用 Codex 监控集成机会并创建 PR、跑测试。文章还给出企业从试点到规模化的六步方法。