基于PD分离与大规模专家并行在128张H200 GPU上部署Kimi K2
Mooncake团队基于OME和SGLang框架，在128张H200 GPU集群上完成了Moonshot AI 1万亿参数开源MoE模型Kimi K2的大规模部署。该方案采用PD分离与大规模专家并行技术，针对模型384个专家和每token 320亿激活参数的设计进行优化，通过跨节点通信优化与负载均衡策略，显著提升了trillion-scale模型的推理吞吐与并发处理能力。
#部署/工程
LMSYS Blog
LMSYS Blog 使用多 Token 预测（MTP）加速 SGLang：吞吐量提升 60% 的推理优化方案
SGLang 推理框架现已支持多 Token 预测（MTP）技术，并与大规模专家并行（EP）、预填充-解码分离（PD Disaggregation）等特性无缝集成。该技术通过轻量级草稿模型预测多个未来 Token，再由完整目标模型并行验证，在保持生成质量不变的前提下，可将 DeepSeek V3 等模型的输出吞吐量提升高达 60%。在 16 张 H200 GPU 的小规模部署场景中，该方案显著优化了长序列推理效率，为生产环境提供即插即用的性能增益。
LMSYS Blog 在 SGLang 中支持新 VLMs：NVILA 案例研究
NVILA 团队发布技术博客，详解如何在 SGLang 推理框架中集成新型视觉语言模型。文章以 NVILA 为实践案例，提供从模型适配、推理优化到部署的完整开发指南与代码实践。随着多模态大模型成为行业焦点，该方案填补了 SGLang 生态在视觉理解模型支持方面的文档空白，为开发者快速接入新 VLM 提供了标准化技术路径与最佳实践。
OpenRouter：AnnouncementsAI 评分5050 Venice 上线 OpenRouter：主打隐私与无审查
Venice 作为新提供商加入 OpenRouter，提供其旗舰无审查模型，主打隐私、高性能和非限制性 AI 体验。
OpenRouter：AnnouncementsAI 评分4242 OpenRouter 新增隐私优先提供商 Venice
Venice 作为新提供商加入 OpenRouter，提供其旗舰未审查模型，主打隐私、强大且无限制的 AI 体验。
Liquid AI 模型与工程博客AI 评分5757 Liquid AI 发布 LEAP 边缘 AI 平台和 Liquid Apollo 本地 AI 应用
Liquid AI 发布 LEAP（Liquid Edge AI Platform）开发者平台和 Liquid Apollo iOS 应用，用于在手机上本地运行小语言模型。
Modal 官方工程博客AI 评分5252 Modal 发布多节点训练集群 beta、B200/H200 GPU 及 Client 1.0
Modal 发布产品更新：多节点训练集群进入 beta，添加 @clustered 装饰器即可跨主机调度数十块 GPU，通过 3.2 Tbps Infiniband RDMA 实现随节点数线性扩展。
Modal 官方工程博客AI 评分5151 Modal 收购 Jamsocket，两位联合创始人加入 Modal 团队
Modal 宣布收购后端平台 Jamsocket，其联合创始人 Paul Butler（CEO）和 Taylor Baldwin（CTO）将加入 Modal 团队。
OpenRouter：Announcements精选AI 评分5555 OpenRouter 免费套餐更新：引入新模型维持可访问 AI 推理
OpenRouter 发布免费套餐更新，通过引入新模型来维持可持续的 AI 推理服务，旨在继续为广大用户提供可访问的 AI 能力。
推荐理由：OpenRouter 一年前把几个新模型塞进免费层，当时对白嫖开发者是利好，但现在点开只能闻到时间的灰尘。
OpenRouter：AnnouncementsAI 评分4848 免费服务层更新：持续为所有人提供可访问的AI
平台对其免费服务层进行了重要更新，旨在通过引入新的模型来维持可访问的AI推理能力。此次调整的核心是确保免费服务的长期可持续性，同时继续向广大用户提供AI服务。更新后，用户将能使用到性能更强或更高效的新模型，但部分原有模型的访问权限或速率可能会相应调整。平台承诺，核心目标依然是让每个人都能接触和使用AI技术。
Liquid AI 模型与工程博客精选AI 评分6666 Liquid AI 发布端侧基础模型 LFM2，含 0.35B/0.7B/1.2B 三个规格
Liquid AI 发布新一代基础模型 LFM2，主打端侧部署，在 CPU 上解码与 prefill 速度最高达 Qwen3 的 2 倍，训练效率较上一代提升 3 倍。
推荐理由：官方发布端侧模型系列，给出与 Qwen3 等同尺寸模型的速度和基准对比数据，适合关注本地部署选型的读者参考。
LMSYS Blog slime：面向 RL 扩展的 SGLang 原生后训练框架
slime 团队发布面向大规模 RL 训练的后训练框架 slime，原生集成 SGLang 推理引擎与 Megatron-LM 训练引擎。框架通过 sgl-router 提供可定制 rollout 接口与灵活训练配置，支持同地/解耦部署、同步/异步训练及 SFT 冷启动。用户可通过 OpenAI 兼容 API 与智能体环境交互，无需修改环境代码。框架完整支持 SGLang 优化参数（如 EP MoE、DP Attention）及 Megatron 并行策略（TP/PP/EP/CP），提供独立调试模式与检查点转换工具，基础镜像基于 lmsysorg/sglang:dev。
LMSYS Blog OME：以模型驱动架构革新 LLM 基础设施
Oracle Cloud Infrastructure 推出 OME（Open Model Engine），一款 Kubernetes-native 的模型服务框架。该系统采用模型驱动架构，通过 BaseModel、ServingRuntime 等自定义资源将模型视为一等公民，有效弥合 ML 工程师与生产团队之间的鸿沟。OME 将模型上线周期从数月压缩至数天，显著减少配置错误，并原生支持多节点推理、Prefill-decode 分离、Serverless 自动扩缩容及 Multi-LoRA 等企业级特性，集成 SGLang 运行时，实现复杂部署策略的编码复用与一键部署。
Modal 官方工程博客精选AI 评分6262 Modal 如何用 evals 和推理时算力扩展生成既美观又可扫的 QArt 二维码
Modal 团队复盘其 QArt codes 服务的工程过程，通过 evals 和推理时算力扩展将二维码扫描率提升到 95% 的 SLO，同时改善美观度并将 p95 端到端延迟控制在 20 秒内。
推荐理由：Modal 团队复盘 QArt codes 从不可扫到 95% 扫描率的工程路径，evals 构建与推理时并行扩展的方法可迁移到其他生成模型应用。
Sierra：BlogAI 评分5151 Sierra 详解基础模型推理层的自适应路由与请求对冲实践
Sierra 介绍其自适应路由客户端，把基础模型可靠性当作动态优化问题，通过 Balanced 与 Protective 两种转向模式、自适应健康检查和基于 EWMA 的加权 tumbling 窗口，将请求路由到表现最佳的提供商。上线当月经历多次提供商故障，包括一次持续数小时的中断，客户均未感知停机。配套的请求对冲策略在超过设定延迟阈值时发送备份请求，使 P99 延迟下降超过 70%。
OpenRouter：AnnouncementsAI 评分5252 OpenRouter 推出 Presets：从仪表盘管理 LLM 配置
OpenRouter 现已上线 Presets 功能，用户可通过仪表盘集中管理大语言模型（LLM）配置，从而加速迭代、清理代码。
OpenRouter：AnnouncementsAI 评分4242 OpenRouter Presets 发布：从 Dashboard 管理 LLM 配置
OpenRouter 上线了 Presets 功能，用户可通过 Dashboard 集中管理大语言模型配置，从而加速迭代并清理代码。
OpenRouter：AnnouncementsAI 评分5050 Introducing Presets: 从仪表板管理 LLM 配置！
OpenRouter 正式上线了 Presets 功能。用户现在可以通过仪表板集中管理 LLM 配置，无需再将参数硬编码在应用程序中。此举旨在将 LLM 逻辑集中化，从而帮助开发者更快地进行迭代，并清理冗余代码，提升开发效率。
OpenRouter：AnnouncementsAI 评分4040 OpenRouter 推出开发者与 BYOK 更新：可用性 API + 更智能的密钥管理
OpenRouter 新增通过 API 追踪模型可用性的功能，并增强了 BYOK 密钥管理，支持设置使用限制和可测试密钥。
OpenRouter：AnnouncementsAI 评分4646 Dev & BYOK 更新：Uptime API 与更智能的密钥管理
Anthropic 为其开发者和 BYOK 客户推出两项重要更新。新发布的 Uptime API 允许开发者通过编程接口直接追踪模型运行状态与可用性。同时，BYOK 密钥管理功能得到增强，用户现在可以对密钥设置使用量限制，并创建可测试的密钥，从而实现对加密密钥更精细化的控制与验证。
Prime Intellect精选AI 评分6161 Prime Intellect 发布 SYNTHETIC-2 开源推理数据集与行星尺度流水线并行推理运行
Prime Intellect 发布 SYNTHETIC-2，一个开源推理数据集，基于 DeepSeek-R1-0528 生成经过验证的推理轨迹，并启动行星尺度的流水线并行分布式推理运行。
推荐理由：原文给出流水线并行推理与 TOPLOC v2 验证机制的细节，开源社区可据此了解如何用消费级 GPU 参与大规模推理贡献。
Cognition 模型 / Devin 博客AI 评分5858 Cognition 开源 blockdiff：用于 VM 磁盘快照的块级差异文件格式
Cognition 开源 blockdiff，一种对 VM 磁盘做即时块级差异的文件格式，实现为其自研 hypervisor otterlink 的快照能力，后者已支撑 Devin 的研究与生产负载。
Modal 官方工程博客AI 评分5757 Modal 讲解如何将 FLUX.1-dev 推理提速三倍并匹配专有 API 性能
Modal 官方博客分享如何将 Black Forest Labs 的 FLUX.1-dev 在 Modal 上的自托管推理提速三倍，使 1024x1024 图像生成延迟从约 6.75 秒降至约 2.2 秒，达到与专有 API 竞争的三秒目标。
LMSYS Blog 在GB200 NVL72上部署DeepSeek 671B：PD与大规模EP架构实现2.7倍解码加速
SGLang团队在GB200 NVL72集群部署DeepSeek 671B模型，采用预填充-解码分离（PD）与大规模专家并行（EP）架构，结合Blackwell专用优化组件（DeepGEMM、DeepEP等），实现单GPU解码吞吐7,583 tokens/秒。在2,000 token输入下，性能较H100提升2.7倍，整体加速比达2.5-3.4倍。系统利用NVLink全互联降低通信延迟，依托更大显存支持高批次处理，显著提升MoE模型推理效率。
Mistral AI：NewsAI 评分4949 Mistral AI 推出 Mistral Compute：面向全球的前沿 AI 基础设施
Mistral AI 发布 Mistral Compute，一套私有化、集成化的 AI 基础设施，涵盖 GPU、编排、API、产品与服务，支持从裸金属服务器到全托管 PaaS 的多种形态。
Modal 官方工程博客AI 评分5454 Modal 发布 1.0 版 Python 客户端
Modal 上周发布 1.0 版客户端，称其标志平台走向成熟稳定，未来破坏性变更将大幅减少。1.0 移除 automounting 等不可预测的自动行为，改为显式指定包含的本地文件与包；将并发等配置拆分到独立装饰器如 @modal.concurrent，并把 modal.Mount 的本地文件功能统一收归 modal.Image 类。
OpenRouter：AnnouncementsAI 评分5050 OpenRouter 推出更简单透明的平台费用结构
OpenRouter 正在推出更简单、更透明的平台费用结构。
OpenRouter：AnnouncementsAI 评分4949 简化我们的平台费用
平台宣布推出更简单、更透明的费用结构。此次调整旨在简化原有收费模式，提升费用透明度，让用户更清晰地理解相关成本。新结构将逐步实施，预计会影响平台上的各项服务收费方式。
Answer.AI 官方研发博客AI 评分4545 Answer.AI 博客介绍 fastcore 库中的 flexicache 缓存装饰器用法
文章由 Daniel Roy Greenfeld 撰写，介绍了 Jeremy Howard 在 fastcore 库中新增的 flexicache 装饰器。该工具支持灵活的内存缓存策略，包括基于时间（time_policy）和文件修改时间（mtime_policy）的自动失效机制，以及 LRU 缓存替换。文中通过代码示例演示了如何单独或组合使用这些策略来优化 Python 函数调用性能。
OpenRouter：AnnouncementsAI 评分5252 GIF提示、Omni搜索、工具缓存与BYOK标志
多项新功能正式上线，包括GIF提示支持、Omni全平台搜索、Anthropic工具调用缓存以及自带密钥（BYOK）确认标志。这些更新显著提升了工作流程效率，实现了更智能的工具调用机制，并优化了图像支持体验。用户现可更快捷地生成GIF动图、跨平台检索内容、缓存常用工具以加速响应，并通过BYOK标志明确数据控制权限。
OpenAI DevelopersAI 评分5252 OpenAI Cookbook 发布收据解析自动化工作流的评估驱动系统设计指南
OpenAI 发布 Cookbook 教程，介绍用评估驱动设计方法构建收据解析自动化工作流，覆盖从原型到生产的过程。
Anthropic：Alignment Science BlogAI 评分5252 Anthropic 研究用模型内部激活构建低成本越狱检测分类器
Anthropic 研究通过微调模型最后一层或在中间激活上线性探针来检测越狱，复用策略模型已有计算以降低安全分类成本。仅重训一层的分类器性能匹敌参数量为策略模型 1/4 的独立分类器，成本约为策略模型的 4.25%；EMA 线性探针以极低开销超过参数量占策略模型 2% 的专用分类器，并在两阶段流水线中可降低 10 倍以上成本。
Modal 官方工程博客精选AI 评分6262 Modal 上线 B200 和 H200 GPU
Modal 宣布 B200 和 H200 GPU 开放给所有账户使用，无需联系销售，B200 定价 $6.25/hour，H200 定价 $4.54/hour，一行代码即可在 Function 中指定。
推荐理由：原文给出 B200 与 H200 的价格、规格对比和实测延迟数据，读者可据此评估迁移到新 GPU 的收益。
OpenRouter：Announcements精选AI 评分5656 OpenRouter 推出推理流摘要、加密货币发票等多项新功能
OpenRouter 上线了推理流摘要（Reasoning Streams）功能，支持流式推理过程摘要，同时新增加密货币发票支付、最终用户 ID（End-User IDs）、速率限制保护以及密钥锁定等特性。
推荐理由：如果你在用 OpenRouter 做应用，这几个更新挺实用，推理流输出让代理开发更可控，加密支付和端用户 ID 也降低了商业化门槛。
OpenRouter：AnnouncementsAI 评分5050 OpenRouter 新功能：推理流、加密发票、终端用户 ID 等
OpenRouter 上线了一系列新功能：推理流（Reasoning Streams）支持流式推理摘要，保护速率限制，加密发票（Crypto Invoices）允许用加密货币支付，终端用户 ID（End-User IDs）实现密钥锁定。所有功能现已可用。
OpenRouter：AnnouncementsAI 评分4949 新功能发布：推理流、加密货币支付、终端用户ID等
OpenRouter平台上线多项新功能。核心更新包括“推理流”，允许开发者在模型生成完整回复前实时获取并处理中间推理步骤，提升交互应用的响应速度。平台新增加密货币支付选项，支持通过加密货币开具发票。同时引入“终端用户ID”功能，帮助开发者更好地追踪和管理最终用户的使用情况，以保护API速率限制。此外，密钥锁定机制也已上线，增强了密钥管理的安全性。
Modal 官方工程博客AI 评分5757 Modal 发布 Modal Batch：一行代码处理 100 万个任务
Modal 发布 Modal Batch，一个基于新持久化队列系统的批处理接口，可通过 .spawn_map 一行代码启动上千个容器处理海量输入。队列容量从 2000 提升至 100 万个输入，任务执行保证期限从 1 天延长至 7 天。Harvey 用它将数据处理流水线提速 10x，Suno 和 Achira 也已将其用于音频预处理和量子化学数据集处理。
OpenRouter：AnnouncementsAI 评分4343 Passkeys、开发者体验升级与TypeScript智能体新指南
Anthropic发布了多项平台更新。用户现可使用Passkeys无密码方式登录以增强账户安全。开发者体验获得升级，包括引入“provider slugs”功能以简化模型调用流程。同时，官方推出了全新的TypeScript智能体构建指南与更新后的文档，旨在帮助开发者更高效地创建基于Claude的AI智能体。
LlamaIndex：产品、工程与评测AI 评分4949 LlamaIndex 如何用自研 LlamaDev 重构 650+ Python 包 monorepo
LlamaIndex 为管理包含 650 多个 Python 包（多为 Integrations 和 Packs）的 monorepo，自研了大规模 monorepo 管理工具 LlamaDev。此前其技术栈为 Poetry 管理单个包、Pants 跨包编排测试、GitHub Actions 自动化，该组合使用超过一年，但随规模扩大暴露出构建速度与缓存服务器等问题。
Prime IntellectAI 评分5151 Prime Intellect 发布容错通信库 PCCL，面向公网分布式训练
Prime Intellect 发布面向公网分布式训练的容错集合通信库 PCCL，任意时刻终止节点均可恢复，新节点可随时加入。测试中跨北美与西欧 18 节点达 25 Gbit/s，西欧数据中心间达 45 Gbit/s，技术报告见 arXiv 2505.14065，代码已在 GitHub 开源。