Amazon 与 Booking.com 用知识蒸馏加 Medusa 加速旅行 LLM
Amazon 与 Booking.com 将知识蒸馏与 Medusa 结合，把 70B 的 Llama-3.1 教师模型能力迁移到 1.1B 的 TinyLlama 学生模型，在保持最佳开源 LLM 质量的同时成本降至不到三分之一、速度最高提升 20 倍。
#部署/工程
Amazon ScienceAI 评分4444 LangChain：BlogAI 评分6262 LangChain 为 Managed Deep Agents 新增浏览器能力
LangChain 宣布 Managed Deep Agents 支持浏览器操作，开发者通过 define_browser 几行代码即可让 LangSmith 托管 Agent 读写真实网页，无需自建基础设施。
Databricks：BlogAI 评分4343 Databricks 为 Serverless 计算推出更精细的成本控制
Databricks 将 Serverless 成本控制扩展到 notebooks、jobs 和 pipelines，此前该能力已用于 Serverless SQL 与 Model Serving。
Tessl：产品与工程博客AI 评分5555 Tessl 工程博客探讨 AI 软件工厂的成本该由谁负责
Tessl 博客分析工程领导者如何判断 AI agent 账单背后的钱花得值不值，提出七方面管理框架：成本可见与归属、开工前评估、按任务完成成本选模型、把重复决策转为代码检查、设预算并停止无效循环、把原本不会做的维护工作单独核算，以及在预算紧张时保持完成定义不变。文中强调失败尝试也要计入成本，账单下降可能只是把工作转嫁给了评审者。
Amp ChronicleAI 评分5858 Amp 推出 macOS Satellites：云端 Mac 自动构建、测试和运行苹果应用
Amp 推出 macOS Satellites（beta），让智能体在云端 Mac 上构建、测试和运行 iOS 与 macOS 应用。架构上线程仍跑在 Linux orb 上，需要 macOS 时服务器约 30 秒启动一台预装 Xcode 和模拟器的新 Mac，代码保持同步，截图、日志和构建结果回到线程，屏幕可实时观看或接管。
Google Developers BlogAI 评分5454 Google Play services 中的 LiteRT 升级：GPU 推理提速 1.4 倍、应用体积减小约 8 MB
Google 宣布 Google Play services 中的 LiteRT 迎来最大升级，GPU 推理速度约为旧版 GPU delegate 的 1.4 倍，由 ML Drift 引擎驱动，并通过新的 CompiledModel API 提供。
Baseten 工程博客AI 评分5151 Baseten 优化 Qwen3-ASR 1.7B 批量转写，吞吐达原版 vLLM 的 7 倍
Baseten 优化了 Qwen3-ASR 1.7B 的批量转写部署，在 64 并发下吞吐比原生 vLLM 高 7 倍以上，成本降至每音频小时约 $0.0013，比闭源提供商低约 277 倍。
Mastra BlogAI 评分4646 Mastra 推出 Span Queries：按 span 过滤和分组追踪数据
Mastra 上线 Span Queries，可在所有 trace 内按时间范围、类型、名称、状态、错误、耗时等条件过滤并分组单个 span，比返回整条 trace 的 trace queries 更细粒度。
PyTorch：BlogAI 评分6262 PyTorch 2.15 发布：重写 NCCL 后端转为默认并提升多平台推理性能
PyTorch Foundation 发布 PyTorch 2.15，重写的 NCCL 后端成为所有 nccl 进程组的默认选项，附飞行记录器在 collective 挂起时转储现场，并保留 TORCH_DIST_USE_NCCL2=0 和 nccl-legacy 回退路径。
Google Developers BlogAI 评分5959 Google 演示用 Agents CLI 评测闭环爬坡式提升 Agent 质量
Google Developers Blog 实操演示 Agents CLI 的 eval 命名空间如何支撑 Agent 质量的爬山式迭代，基于 Agents CLI v1.8.0 的 LangChain 模板，以 gemini-3.8-flash 作 LLM-as-judge 按 1-5 分评分。
Meta Engineering BlogAI 评分4848 Meta Andromeda：模型与系统协同设计驱动下一代广告检索
Meta 公布下一代个性化广告检索系统 Meta Andromeda，单块 GH200 GPU 上模型推理吞吐超过每秒 100 亿条广告，相比 2024 版系统提升 100 倍。新架构引入受 LLM 启发的 MoE，推理 FLOPs 比 2024 版检索模型少约 300 倍，性能接近排序阶段水平。自 2025 年以来，该系统在 Facebook 上带来 2.4% 的转化提升。
OpenRouter：AnnouncementsAI 评分6767 OpenRouter 解析 Claude 529 Overloaded 错误及三种修复方法
OpenRouter 发文解释 Claude 的 529 overloaded_error 表示 Anthropic API 对该模型全局容量不足，与用户配额无关，区别于 429 rate_limit_error。
Browser UseAI 评分5757 Browser Use 团队讲解如何在云端规模化运行浏览器自动化
Browser Use 团队讲解云端规模化浏览器自动化做法：任务进队列，每个任务用独立远程浏览器经 CDP 由 Playwright 或 Puppeteer 驱动，并发按套餐上限封顶，用保存的 profile 复用登录，仅在站点拦截时加代理，带退避重试并在 finally 中停止浏览器。
Browser UseAI 评分6262 Headless 浏览器被 Cloudflare 拦截的信号与对策（2026）
Browser Use 讲解 Cloudflare 拦截原生 headless Chrome 的原因：navigator.webdriver 暴露自动化、Playwright 默认 headless shell 的 UA 为 HeadlessChrome、云服务器 IP 信誉差且无 cookies。
Together AI 研究与产品博客AI 评分4444 Together GPU 集群自动修复：从 GPU 故障到健康节点
Together AI 详解其 GPU 集群自动修复系统：被动健康检查在 VM 内与宿主机两侧持续监测 Xid 错误、ECC 双比特错误、PCIe 掉卡和 InfiniBand 链路抖动，每项修复都附带证据。
Databricks：BlogAI 评分5858 Databricks 讲解用 ai_extract 与 MLflow Prompt Registry 提升文档抽取准确率
Databricks 博文讲解如何在 ai_extract 文档抽取中把一次性修补变成可评测的工程流程。实践来自一个从数十种 PDF 订单文档抽取约 40 个结构化字段的项目，结合人工审核作为 ground truth。
Databricks：BlogAI 评分4242 Databricks Lakehouse Federation：不迁移数据也能做投资分析
Databricks Lakehouse Federation 支持通过标准 SQL 直接查询 SQL Server、PostgreSQL、MySQL、Snowflake 等外部数据库，数据留在原处，无需复制或同步。
NVIDIA Technical Blog：Agentic AI / Generative AIAI 评分5151 NVIDIA 实测三种优化将 Ling-3.0-flash 在 DGX Spark 上的解码吞吐提升 42.5%
NVIDIA 技术博客介绍在 DGX Spark 上加速 Ling-3.0-flash 推理的三种优化：Humming MXFP4 MoE 内核、LM head 在线 FP8 量化、以及用 NEXTN 做 MTP 投机解码。
Vapi 产品与 Agent 方法AI 评分4848 Vapi 上线流量分割功能，可把 0.1% 通话导给新版语音智能体
Vapi 上线流量分割功能，可将呼入呼出通话按比例分配到智能体的不同版本，最小可先放 0.1% 流量做灰度验证。该功能支持按来电者身份保持版本一致的“stickiness”，可随时回滚，官方建议先做两版本对比。Vapi 称模拟与评测只能带来约 90% 信心，剩余部分需靠真实通话验证。
Browser UseAI 评分6565 Browser Use 教你自动化无 API 的网站：每日登录并下载发票的三种方案
Browser Use 作者讲解如何自动化没有 API 的供应商门户以每日登录下载发票，建议先向供应商索要导出、API、SFTP 或邮件等方式。
LMSYS Blog精选AI 评分7171 SGLang 披露并修复 PD 分离服务中的跨请求 KVCache 竞态问题
SGLang 团队与 Cloudflare 协调披露 2026 年 8 月 27 日至 9 月 9 日影响 Workers AI 上 @cf/zai-org/glm-5.3 的跨请求 KVCache 暴露问题。
推荐理由：SGLang 团队复盘了异步 KVCache 传输中的跨请求泄漏机制、复现方法和修复方案，对运维长上下文 PD 部署有直接指导意义。
Baseten 工程博客AI 评分4747 Baseten 推出 BDN Sealed Volumes：模型数据一次发布，随处挂载
Baseten 发布 BDN Sealed Volumes，可将只读模型数据发布一次并以 digest 固定版本，在任意部署中挂载。它支持从 Hugging Face、S3、GCS 等源同步，按内容哈希分块上传，仅传输变更部分，部署启动无需下载步骤。适用于模型权重、LoRA 适配器、TensorRT-LLM 引擎和嵌入索引等运行时只读文件。
LMSYS BlogAI 评分4747 SGLang 对比 DeepInfer：DeepSeek-V4.1-Flash 推理性能实测与完整服务能力
SGLang 用 DeepInfer 官方 benchmark 在相同硬件上对比测试 DeepSeek-V4.1-Flash，4x GB300 和 4x B300 上 prefill 吞吐最高达 1.04x，64x GB300 上 decode 步长缩短 1.1% 至 7.4%。
vLLM 官方博客AI 评分4646 vLLM 在 GB300 NVL72 上规模化服务 DeepSeek-V4.1-Flash，解码吞吐与 DeepInfer 差距在 6% 以内
vLLM 用 P/D 分离与 Wide-EP 在单台 NVIDIA GB300 NVL72 上服务 DeepSeek-V4.1-Flash，在 SemiAnalysis AgentX 上达到每 GPU 954K tokens/s、单用户 P90 196 tokens/s，为早期单节点结果的 7.9 倍。
LMSYS BlogAI 评分4949 miniTE 技术报告：用原生 NVFP4 实现稳定高效的强化学习
针对原生 NVFP4 强化学习在训练后期出现的不稳定问题，LMSYS 提出算法 TRIAGE 与工程方案 miniTE。在 8×B300 上，采用 BF16 反向传播的 miniTE 完整学习器更新速度约为 BF16 的 1.33–1.37 倍，单独的固定输出服务测试吞吐约为 BF16 的 1.64 倍。
vLLM 官方博客AI 评分4545 vLLM 详解 GLM-5.3 在 16 张 H200 上的优化：PCP、DCP 与 Hybrid HiSparse
vLLM 博客详解 GLM-5.3 在 16 张 H200 上拆分 prefill 与 decode 节点的长上下文优化：PCP 按 token 而非注意力头切分 prompt，DCP 按 token 分片 KV cache，使 1M 上下文仅需每 GPU 6.7 GiB。
OpenAI：官网动态AI 评分5454 OpenAI 详解 Habitat 存储平台如何支撑超 10 亿 ChatGPT 用户
OpenAI 发布 Habitat 存储平台系列第二篇，讲解其为服务超 10 亿 ChatGPT 用户如何扩展底层 Azure Cosmos DB。平台在 40 个地理区域托管超 500 PB 数据，经历了从共享多租户到单租户容器再回到多租户默认的循环，与 Azure 团队通过热键限流、QoS 分级和新版 serverless 模式解决噪音邻居和弱分区问题。
vLLM 官方博客AI 评分6767 vLLM 实现 MiniMax-M3.1-Flash Day-0 支持
vLLM 在发布当天即支持 MiniMax-M3 系列新模型 MiniMax-M3.1-Flash，覆盖 NVIDIA Blackwell、Rubin 和 AMD MI350 系列 GPU。
Modal 官方工程博客AI 评分6060 Modal 发布开源 Tinker 兼容训练服务器 Spindle
Modal 发布开源、Tinker 兼容的训练服务器 Spindle，可在自己的 Modal 工作区部署，按 GPU 时间而非 token 计费，支持全参数训练与 multi-LoRA，可同时运行数百个训练任务。
Amazon ScienceAI 评分5151 Amazon 开源 TorchNeuron，让 PyTorch 代码在 AWS Trainium 芯片上运行
Amazon 发布开源后端 TorchNeuron，将 PyTorch 代码翻译为可在 AWS Trainium 系统上执行的操作，已有 PyTorch 代码只需极少或不做修改即可迁移。
Databricks：BlogAI 评分6666 Databricks 高管复盘 AI 编码成本治理，从账单失控到单位成本降 90%
Databricks 负责 AI 产品的 Patrick 在访谈中讲述公司全面采用 AI 编码智能体后成本一度指数级上涨，最终部分场景单位成本下降达 90%。
Databricks：BlogAI 评分5050 Databricks 谈 AI 成本管理新经济学：从 tokenmaxxing 转向 valuemaxxing
Databricks 高级主任工程师 Kevin Stumpf 提出，企业 AI 的衡量重心正从 tokenmaxxing 转向 valuemaxxing，即用 AI 产生的业务影响除以成本来评估投入回报。
Cerebras：BlogAI 评分4242 Cerebras 如何用 59 片 WSE-3T 晶圆部署 3T 参数 Kimi K3
Cerebras 详解如何把约 3T 参数的 Kimi K3 拆分到多片 WSE-3T 晶圆上运行，实现 1000-2000+ tokens/s 的多万亿参数模型推理。
NVIDIA Technical Blog：Agentic AI / Generative AIAI 评分6767 NVIDIA 宣布支持八节点 DGX Spark 集群，统一内存扩展至 1 TB
NVIDIA 在 GTC Berlin 宣布官方支持八节点 DGX Spark 集群，统一内存从单节点 128 GB 扩展到 1 TB，可本地运行完整 GLM 5.3 (753B) 等前沿模型，GLM 5.3 Flash 生成速度约 80 TPS。
LMSYS BlogAI 评分5050 SGLang 发布 AWS Trainium 插件 Beta
SGLang 与 AWS 合作推出基于 TorchNeuron 的 Trainium 插件 Beta，支持在 Trainium2 和 Trainium3 上进行 LLM 推理服务与 RL rollout 生成。
Prime IntellectAI 评分4242 Prime Intellect 推出 Prime Mega MoE：面向训练的高速融合 MoE kernel
Prime Intellect 在 DeepSeek 开源 Mega MoE kernel 基础上补上快速重叠的反向传播，使其可用于训练，MoE kernel 相比默认 PyTorch 实现最高快 3.11×，端到端训练相比 Prime-RL 基线最高快 1.34×（吞吐提升 34%）。
Modal 官方工程博客AI 评分4747 Sakana AI 如何在 Modal 上部署约 1 万亿参数 MoE 模型 Sakana Namazu
Modal 工程团队与 Sakana AI 合作，将约 1 万亿参数的 MoE 模型 Sakana Namazu 部署到 Modal 上，通过定制 NVFP4 量化与自训练 DFlash 草稿模型支撑其公开 API 上线。
n8n BlogAI 评分4444 自托管 LLM 与云 API 之间如何路由请求
n8n Blog 发文讲解如何在自托管 LLM 与云 API 之间做请求路由，并给出混合方案。
n8n BlogAI 评分4444 有状态 vs. 无状态：AI 智能体构建中的上下文管理
n8n 博客对比了有状态与无状态架构在 AI 智能体构建中的取舍：有状态应用保留对话历史、认证信息等跨请求状态以维持连续性，无状态应用则让每个请求独立处理，更易在实例间分发、扩展和容错。LLM 本身不会在两次推理请求间自动保留对话，智能体的记忆需由系统在模型外存储并检索状态，再注入后续请求的上下文。n8n 中可按状态存活时长选择 memory 节点或 state store。
NVIDIA BlogAI 评分4545 NVIDIA DSX 如何帮企业破解 AI 工厂电力瓶颈
NVIDIA DSX AI Factory Platform 被全球多家企业用于把电网与 AI 工厂作为一套系统统一规划、仿真和运行。GE Vernova、日立能源、施耐德电气和西门子能源等厂商基于该平台推进参考架构与数字孪生；Phaidra 集成 DSX Flex、DSX Max-Q 和 DSX Exchange 后，在相同功耗下多提供约 10% 算力。