#开源/仓库

SGLang与NVIDIA携手加速SemiAnalysis InferenceMAX及GB200优化

SGLang与NVIDIA针对Blackwell架构（GB200 NVL72）深度优化，在DeepSeek R1模型上实现每GPU 26k输入与13k输出tokens/秒的高吞吐。通过Prefill-Decode分离架构、大规模专家并行及FP8/NVFP4内核优化，SGLang在SemiAnalysis InferenceMAX基准测试中较Hopper代际获得4倍性能提升，并被选为该基准在NVIDIA与AMD硬件上运行DeepSeek模型的默认推理引擎。

Ming-VideoMAR：基于连续令牌的自回归视频生成模型

Ming-VideoMAR 是一款仅解码器的自回归图像到视频生成模型，采用连续令牌统一视觉表征。它首次将时间因果性与空间双向性作为视频自回归核心原则，并提出了整合掩码生成的下一帧扩散损失。该模型首次实现了视频生成的零样本分辨率缩放，能灵活生成远超训练分辨率的视频。其在训练与推理效率上表现突出，参数量、训练数据量和GPU消耗仅为之前最佳模型Cosmos的极小比例（9.3%、0.5%和0.2%），同时在定量与定性评估中均实现超越。模型代码与检查点已开源，论文已被NeurIPS 2025接收。

Answer.AI 开源 cachy，让 notebook 中 LLM 调用快 60 倍

Answer.AI 发布开源 Python 包 cachy（pip install pycachy），通过补丁 httpx 的 send 方法，把 Anthropic 和 OpenAI SDK 的 LLM 调用响应自动缓存到本地并在相同请求时复用，无需编写 mock。

inclusionAI/dInfer

inclusionAI团队发布了dInfer，一个专为扩散语言模型设计的高效推理框架。该框架旨在解决扩散模型在文本生成领域推理速度慢、资源消耗大的核心挑战。dInfer通过一系列底层优化技术，显著提升了推理效率，能够更快地生成文本，同时降低计算成本，为扩散模型在更广泛的实际应用场景中部署提供了关键技术支持。

inclusionAI发布MingTok-Audio：首个统一连续语音分词器

inclusionAI团队推出了MingTok-Audio，这是首个能有效融合语义与声学特征的统一连续语音分词器，适用于语音理解与生成任务。该模型基于纯因果Transformer架构，去除了卷积层以提升效率，并采用VAE进行连续特征建模以实现高质量音频重建。在语音重建性能上，其帧率为50，在SEED-ZH和SEED-EN测试集上的PESQ分别达到4.21和4.04，SIM为0.96，STOI为0.98，显著优于对比模型。在下游ASR任务中，其在多个方言数据集上取得了更低的错误率，例如在Hunan Minnan数据集上WER低至9.80%。

SGLang 发布首日支持 DeepSeek-V3.2：集成稀疏注意力机制

SGLang 在发布首日即支持 DeepSeek-V3.2，该模型基于 DeepSeek-V3.1-Terminus 引入 DeepSeek Sparse Attention (DSA) 机制。DSA 通过 Lightning Indexer 和 Top-k Token Selection 将注意力复杂度从 O(L²) 降至 O(Lk)，在 128K 长上下文下实现训练与推理效率大幅提升且质量损失可忽略。SGLang 实现了专用缓存与 Native Sparse Attention 后端，并提供了面向 NVIDIA、AMD MI350X/MI355X 及 NPU 的部署方案与容器镜像。

智源 FlagOpen 开源跨本体视觉-语言-动作模型 RoboBrain-X0

智源 FlagOpen 发布开源项目 RoboBrain-X0，一个面向 token 推理与动作生成的跨本体视觉-语言-动作模型。模型基于 RoboBrain 2.0 和 OmniSAT 动作分词器，用统一动作词表和 GRVQ 实现对 AgileX、R1-Lite、Franka 等异构本体的零样本泛化与任务分解。

PD-Multiplexing：基于 GreenContext 解锁高有效吞吐 LLM 服务

SGLang 团队推出 PD-Multiplexing 服务范式，利用 NVIDIA GreenContext（CUDA 12.4+）的 GPU 细粒度分区能力，通过单卡内部空间共享多路复用 prefill 与 decode 阶段，消除传统 PD 分离的跨实例 KV 缓存迁移开销。该方案将 prefill 切分为小块以消除 GPU 气泡，结合离线训练的延迟预测器实现 SLO 感知调度，动态分配 SM 资源以适应负载变化，从而在满足 TTFT 与 ITL 延迟 SLO 的同时显著提升模型即服务（MaaS）的 goodput。

GB200 NVL72部署DeepSeek V3/R1（二）：PD分离与大规模EP实现3.8倍Prefill、4.8倍Decode吞吐

SGLang团队基于GB200 NVL72优化DeepSeek V3/R1推理，采用FP8 Attention、NVFP4 MoE、大规模专家并行及PD分离等技术。2000 token输入下，单卡Prefill达26,156 tokens/s，Decode达13,386 tokens/s，较H100提升3.8倍和4.8倍。BF16/FP8配置下仍达18,471/9,087 tokens/s。FP8与NVFP4低精度内核分别带来1.8倍和1.9倍加速且精度损失可忽略。

DeepSeek-V3.1 更新至 Terminus 版本，优化语言一致性与 Agent 能力

DeepSeek-V3.1 已更新至 DeepSeek-V3.1-Terminus 版本，在保持原有能力基础上，缓解了中英文混杂、偶发异常字符等问题，并优化了 Code Agent 与 Search Agent 的表现。官方 App、网页端、小程序与 DeepSeek API 均已同步更新，开源版本已发布至 Hugging Face。

SGLang 实现确定性推理与可复现 RL 训练

SGLang 基于 Thinking Machines Lab 的 batch-invariant 算子实现全确定性推理，解决动态批处理导致的输出差异问题，兼容 chunked prefill、CUDA graphs 及非贪婪采样。该方案将性能开销从 61.5% 降至 34.35%，配合 CUDA graphs 可实现 2.8 倍加速。SGLang 与 slime 合作进一步实现 100% 可复现的 RL 训练，在 Qwen3-8B 验证中两次独立训练产生完全一致的曲线，为科学实验提供可靠保障。

在 AMD GPU 上优化 FP4 混合精度推理

针对 AMD Instinct MI250/MI300 系列 GPU 缺乏原生 FP4 矩阵乘法支持的问题，研究团队推出 Petit 内核集合，通过 FP16/BF16 × FP4 混合精度计算实现在现有硬件上高效运行 FP4 量化模型。该方案使 Llama 3.3 70B 端到端推理性能提升 1.74 倍，矩阵乘法操作较 AMD 官方 hipBLASLt 库快 3.7 倍。Petit 采用离线重排、LDS 无冲突访问及芯片拓扑感知分区等优化技术，已以 BSD 协议开源并集成至 SGLang 0.4.10 版本。

Writer 发布 Palmyra-mini 系列三款开源小模型（1.5B-1.7B）

Writer 在 Hugging Face 发布 Palmyra-mini 系列三款开源模型：palmyra-mini（非推理基座）、palmyra-mini-thinking-a（GSM8K strict match 82.87%）和 palmyra-mini-thinking-b（AMC23 92.5%）。

SGLang HiCache：支持多种存储后端的快速分层 KV 缓存

SGLang 发布 HiCache 分层 KV 缓存系统，通过 HiRadixTree 页表管理 GPU、CPU 及外部存储中的缓存数据，支持 Mooncake、3FS、NIXL 等多种后端。系统采用 GPU 辅助 I/O 内核和层间重叠机制加速数据传输，在 Qwen3-Coder-480B 编码场景中将 TTFT 降低 56%、吞吐量翻倍、缓存命中率提升至 80%；在 DeepSeek-R1-671B 部署中实现缓存命中时 TTFT 降低 84%，整体吞吐量最高提升 6 倍。

InternLM 发布 ClusterX：统一多云集群任务调度的 CLI 和 Python API

InternLM 开源 ClusterX，为不同云服务厂商的集群调度提供统一的 CLI 和 Python API，屏蔽集群差异，支持统一的任务启动、查看、停止、日志和列表接口，可在支持的集群上无缝迁移任务。

InclusionAI 开源 MoE 大语言模型 Ling-V2

InclusionAI 发布并开源了其混合专家大语言模型 Ling-V2。该模型采用 MoE 架构，旨在通过更高效的参数利用来提升模型性能。此次开源意味着研究者和开发者可以自由访问、使用并基于此模型进行进一步的创新与开发。

Hao AI Lab@haoailab· 03:56AI 评分4949

研究探讨了基于强化学习的LLM游戏后训练能否泛化到其他任务。在相同任务族内（如6×6推箱子泛化至8×8版本），训练带来了高达56%的性能提升。但在跨领域任务中，效果有限或不稳定：Blocksworld有小幅提升，WebShop有约6%但不稳定，GSM8K则无改善。研究团队为此提出了GRL框架，这是一个以智能体为中心的多轮强化学习框架，旨在高度定制LLM与环境的交互，以系统研究泛化能力。

Claude Platform 发布 PHP SDK 测试版

Claude Platform 于 8 月 27 日推出 PHP SDK 测试版。该 SDK 允许开发者通过 PHP 语言调用 Claude API，构建基于 Claude 的应用程序。

SGLang 支持 gpt-oss：从 Day 0 支持到性能增强

SGLang 针对 openai/gpt-oss-120b 发布重大性能优化，prefill 吞吐量提升 2.1 倍，decode 吞吐量提升 2.25 倍。新版本集成 FlashInfer 内核以释放 NVIDIA Blackwell 性能，通过 FlashAttention-3 加速 Hopper GPU，并原生支持 AMD MI350。在 B200 上 MXFP4 精度下单批次解码速度达 416.02 tok/s。同时引入 EAGLE3 投机解码支持，GPQA 基准测试验证精度与官方报告一致，确保高性能不损失推理能力。

DeepSeek-V3.1 发布，迈向 Agent 时代的第一步

DeepSeek 正式发布 DeepSeek-V3.1，采用混合推理架构，一个模型同时支持思考与非思考模式，官方 App、网页端及 API 均已同步升级。

inclusionAI/UI-Venus

UI-Venus 是一款本地 UI 智能体，仅以屏幕截图作为输入，即可执行精确的图形用户界面元素定位与高效导航。该代理无需依赖系统底层代码或辅助功能接口，直接通过视觉信息理解界面结构，实现自动化操作。其核心能力在于对任意应用或网页中的按钮、菜单、文本框等元素进行准确识别与交互，提升了跨平台任务执行的通用性与可靠性。

Kimina-Prover-RL：开源 Lean 4 定理证明训练管线，含 1.7B 与 0.6B 模型

Hugging Face 上发布开源训练管线 kimina-prover-rl，用于 Lean 4 形式化定理证明，基于 DeepSeek-R1 启发的"先推理后生成"范式，完全兼容 Verl 框架。

Hao AI Lab@haoailab· 05:04精选AI 评分8181

[Lmgame Bench] 🔥 OpenAI 刚刚发布了两款开放权重的推理模型：gpt-oss-120B（约1170亿参数）和 gpt-oss-20B（约210亿参数），它们是自 GPT-2 以来首批开放权重的 OpenAI 模型。 我们在 Lmgame Bench 中对两者进行了测试，涵盖4款互动游戏： 🧱 推箱子 | 🟦 俄罗斯方块 | 🔢 2048 | 🍬 糖果传奇 以下是它们的排名（满分25分）： → gpt-oss-120b → 第12名 → gpt-oss-20b → 第13名

Show HN: Sourcebot - 可自托管的代码库版 Perplexity

Sourcebot v4.6.0 新增 Ask Sourcebot 功能，支持用自然语言查询代码库并获取带内联引用的 Markdown 回答。用户需自备 LLM API key，实现类似 Perplexity 的自托管代码搜索体验。

SGLang开源SpecForge：加速Eagle3投机解码训练

SGLang团队开源SpecForge训练框架，专为Eagle3投机解码设计，原生集成SGLang推理引擎实现训推无缝衔接。框架内置Training-Time Test支持，提供Online与Offline双模式，分别适配低存储多GPU与高存储低GPU场景。基于ShareGPT和UltraChat 32万样本的实验显示，Llama 4 Maverick与Scout draft模型在MT-Bench上分别实现2.18倍与2.0倍推理加速。

Yann LeCun@ylecun· 01:49

ZML 发布 LLMD 技术预览版，提供硬件无关的 LLM 推理方案。单容器同时支持 NVIDIA 与 AMD GPU，镜像仅 2.4GB，支持挂载即运行的高性能部署。

使用多 Token 预测（MTP）加速 SGLang：吞吐量提升 60% 的推理优化方案

SGLang 推理框架现已支持多 Token 预测（MTP）技术，并与大规模专家并行（EP）、预填充-解码分离（PD Disaggregation）等特性无缝集成。该技术通过轻量级草稿模型预测多个未来 Token，再由完整目标模型并行验证，在保持生成质量不变的前提下，可将 DeepSeek V3 等模型的输出吞吐量提升高达 60%。在 16 张 H200 GPU 的小规模部署场景中，该方案显著优化了长序列推理效率，为生产环境提供即插即用的性能增益。

Ettin 套件发布：17M 到 1B 的 SoTA 成对编码器与解码器模型

Ettin 发布首个 SoTA 成对 encoder-only 与 decoder-only 模型套件，覆盖 17M 到 1B 共六种规模，采用完全相同的 2T tokens 开放数据、架构和训练配方，仅注意力模式和训练目标不同。

Prime Intellect 发布 SYNTHETIC-2：400 万条协作生成的推理轨迹开源数据集

Prime Intellect 发布开源数据集 SYNTHETIC-2，包含 400 万条经验证的推理轨迹，由全球 1253 块 GPU 在 3 天内通过流水线并行分布式推理协作生成，覆盖数学、代码及指令遵循等可验证 RL 任务。

slime：面向 RL 扩展的 SGLang 原生后训练框架

slime 团队发布面向大规模 RL 训练的后训练框架 slime，原生集成 SGLang 推理引擎与 Megatron-LM 训练引擎。框架通过 sgl-router 提供可定制 rollout 接口与灵活训练配置，支持同地/解耦部署、同步/异步训练及 SFT 冷启动。用户可通过 OpenAI 兼容 API 与智能体环境交互，无需修改环境代码。框架完整支持 SGLang 优化参数（如 EP MoE、DP Attention）及 Megatron 并行策略（TP/PP/EP/CP），提供独立调试模式与检查点转换工具，基础镜像基于 lmsysorg/sglang:dev。

OME：以模型驱动架构革新 LLM 基础设施

Oracle Cloud Infrastructure 推出 OME（Open Model Engine），一款 Kubernetes-native 的模型服务框架。该系统采用模型驱动架构，通过 BaseModel、ServingRuntime 等自定义资源将模型视为一等公民，有效弥合 ML 工程师与生产团队之间的鸿沟。OME 将模型上线周期从数月压缩至数天，显著减少配置错误，并原生支持多节点推理、Prefill-decode 分离、Serverless 自动扩缩容及 Multi-LoRA 等企业级特性，集成 SGLang 运行时，实现复杂部署策略的编码复用与一键部署。

Saining Xie@sainingxie· 04:00

metaquery 现已开源——数据和代码均已开放。

Prime Intellect 发布 SYNTHETIC-2 开源推理数据集与行星尺度流水线并行推理运行

Prime Intellect 发布 SYNTHETIC-2，一个开源推理数据集，基于 DeepSeek-R1-0528 生成经过验证的推理轨迹，并启动行星尺度的流水线并行分布式推理运行。

Cognition 开源 blockdiff：用于 VM 磁盘快照的块级差异文件格式

Cognition 开源 blockdiff，一种对 VM 磁盘做即时块级差异的文件格式，实现为其自研 hypervisor otterlink 的快照能力，后者已支撑 Devin 的研究与生产负载。

Yann LeCun@ylecun· 23:54

SandboxAQ 开源 SAIR 数据集，包含超500万个蛋白质-配体3D结构及结合亲和力标注，为目前最大规模开源结合亲和力数据集。基于NVIDIA DGX Cloud构建，现已在Google Cloud公开可用，旨在为药物发现AI模型提供训练与评估数据。

Yann LeCun@ylecun· 22:53

SandboxAQ 发布开源数据集 SAIR（Structurally Augmented IC50 Repository），收录逾 500 万个共折叠蛋白质-配体 3D 结构及结合亲和力数据，为目前规模最大的开源结合亲和力数据集。数据由大型定量模型生成，旨在为药物发现 AI 模型提供高质量训练数据，弥合分子结构与药效预测间的鸿沟。该数据集基于 NVIDIA DGX Cloud 构建，现已在 Google Cloud Platform 公开发布，供全球研究人员下载使用。

在GB200 NVL72上部署DeepSeek 671B：PD与大规模EP架构实现2.7倍解码加速

SGLang团队在GB200 NVL72集群部署DeepSeek 671B模型，采用预填充-解码分离（PD）与大规模专家并行（EP）架构，结合Blackwell专用优化组件（DeepGEMM、DeepEP等），实现单GPU解码吞吐7,583 tokens/秒。在2,000 token输入下，性能较H100提升2.7倍，整体加速比达2.5-3.4倍。系统利用NVLink全互联降低通信延迟，依托更大显存支持高批次处理，显著提升MoE模型推理效率。

mcp-com-server：把 Windows COM 封装成 MCP 服务器的开源原型

安全研究者 Johann Rehberger 开源了 mcp-com-server 原型，把 Windows COM 封装为 MCP 工具，提供 CreateObject、Get/Set Property、InvokeMethod、QueryInterface 和 ListAllHostedServers 等能力。

H Company 发布开源 Action VLM 系列模型 Holo1，驱动网页智能体 Surfer-H

H Company 在 Hugging Face 上开源 Holo1 系列 Action VLM（含 Holo1-3B 和 Holo1-7B），用于网页 UI 理解与精确定位，其中 Holo1-7B 在常见 UI 定位基准上达到 76.2% 平均准确率。

DeepSeek-R1 更新至 0528 版本，推理能力显著增强

DeepSeek 发布 R1 模型小版本升级 DeepSeek-R1-0528，在数学、编程与通用逻辑等基准测评中取得当前国内所有模型中首屈一指的成绩，整体表现接近 o3 与 Gemini-2.5-Pro。