inclusionAI/LLaDA2.X
蚂蚁集团InclusionAI团队推出扩散语言模型系列LLaDA2.0。该系列模型基于扩散架构开发，专注于语言生成任务，是团队在大型语言模型领域的最新成果。
#开源/仓库
蚂蚁 inclusionAI：GitHub 新仓库AI 评分4949
LMSYS Blog 让张量飞起来 —— 用 R-Fork 加速大模型权重加载
蚂蚁集团 DeepXPU 团队与 SGLang 团队联合发布 Tensor R-Fork（Tensor Remote Fork）技术，通过 GPU-Direct RDMA 实现节点间设备到设备的零拷贝权重传输。该技术可将 Deepseek-R1 模型的加载时间从数分钟缩短至数秒，减少约 600GB 的本地磁盘与 DRAM 存储占用，并提供 NCCL 和 TransferEngine 两种后端方案，后者可在不干扰线上推理服务的情况下完成权重迁移。
Mistral AI：News精选AI 评分7474 Mistral AI 发布 Devstral 2（123B）与 Devstral Small 2（24B）编码模型及 Vibe CLI
Mistral AI 发布开源编码模型 Devstral 2（123B）与 Devstral Small 2（24B），分别在 SWE-bench Verified 上取得 72.2% 和 68.0%。
推荐理由：官方公布了两档参数规模、SWE-bench Verified 分数和后续 API 定价，读者可以据此评估本地部署与成本收益。
蚂蚁 inclusionAI：GitHub 新仓库AI 评分5252 蚂蚁 inclusionAI 开源通用 RL 状态数据管理系统 AState
AState 是蚂蚁 inclusionAI 开源的通用 RL 状态数据管理系统，已在内部 ASystem 中部署，支持万亿参数规模权重同步仅需约 6 秒，远优于行业分钟级延迟。系统提供统一张量级 API，具备单边读写语义（put/get/multi_put/multi_get/complete），架构分为 API 层、服务层和传输层，实现拓扑感知调度、RDMA 零拷贝传输、零冗余张量分片。RL 原生状态管理（进行中）包括 KV 缓存持久化与恢复、激活缓存卸载、智能体多轮对话与工具调用状态的缓存恢复。
蚂蚁 inclusionAI：GitHub 新仓库精选AI 评分6363 蚂蚁集团开源AState：面向强化学习的高性能状态管理系统
蚂蚁集团开源了AState，这是一个专为强化学习设计的高性能通用状态数据管理系统。它旨在解决RL训练与推理中的I/O效率低下、权重同步性能不足及状态恢复不鲁棒等核心挑战。系统采用三层架构：提供张量原生接口的API层、支持多种部署模式的服务层以及具备高效可扩展传输能力的基础层。其关键特性包括统一的张量级API、高性能权重同步和拓扑感知设计。在万亿参数规模下，AState能在约6秒内完成权重同步，远低于业界常见的分钟级延迟，目前已作为ASystem的关键组件在蚂蚁内部生产环境部署。
推荐理由：蚂蚁把万亿参数 RL 训练的权重同步从分钟级压到 6 秒，这套 AState 系统是真刀真枪的工程解法，做大规模 RL infra 的团队值得拆一拆它的 RDMA P2P 架构。
LMSYS Blog 加速 SGLang 推理：原生集成 NVIDIA Model Optimizer 实现无缝量化与部署（12月2日更新）
SGLang 最新版本原生集成 NVIDIA Model Optimizer，支持通过直接 API 调用实现模型量化与部署。新功能将原本复杂的多步骤流程简化为量化、导出、部署三步，支持 NVFP4、MXFP4、FP8 等低精度格式。与原始 FP8 基线相比，优化后的模型在 Blackwell 架构上可实现高达 2 倍的每 GPU 吞吐量提升，显著降低延迟与内存占用。
LMSYS Blog RadixArk发布Miles：面向大规模MoE训练的企业级强化学习框架
RadixArk团队发布企业级强化学习框架Miles，专为大规模MoE训练设计。该框架基于曾支撑GLM-4.6训练的slime构建，首创True On-Policy技术，实现训练与推理零KL散度对齐。新版本引入在线草稿模型推测解码，rollout加速超25%，并针对GB300等新硬件优化内存管理，支持Flash Attention 3与DeepGEMM。框架采用模块化架构，四大核心组件完全解耦，兼顾研究灵活性与企业级稳定性。
智源 FlagOpen：原创开源项目AI 评分5555 智源 FlagOpen 开源 CoRobot 1.0 具身数据框架及 RoboCOIN 多机器人双臂数据集
智源 FlagOpen 发布开源具身数据框架 CoRobot 1.0，覆盖数据采集、转换、处理、检索、下载与训练全流程。配套 RoboCOIN 多机器人双臂数据集覆盖 16 种机器人本体、200k+ 轨迹、1,000+ 任务；RoboCOIN-DataManager、DataCollect 已开源，DataTrain、DataConvert、DataForge 即将推出。
蚂蚁 inclusionAI：GitHub 新仓库AI 评分5353 蚂蚁 inclusionAI 发布 Awex：RL 训练-推理权重同步框架，实现秒级参数更新
蚂蚁 inclusionAI 在 GitHub 开源了 Awex，这是一个高性能的强化学习（RL）训练-推理权重同步框架。该框架旨在使 RL 工作流中从训练到推理的参数更新达到秒级，大幅缩短模型迭代延迟。Awex 的重点在于优化训练与推理之间的权重传输效率，适用于需要快速在线更新的 RL 场景。
LMSYS Blog AutoRound 与 SGLang 正式集成，实现低比特量化模型高效推理
AutoRound 与 SGLang 宣布合作，支持 INT2-INT8 低比特量化模型的高效推理部署。基于符号梯度优化算法，AutoRound 在 INT2 精度下准确率较主流基线提升 2.1 倍，单 GPU 量化 72B 模型仅需 37 分钟。开发者可将 GPTQ、AWQ 或 GGUF 格式的量化模型直接部署至 SGLang v0.5.4.post2+，兼容 LLM、VLM 及 MoE 架构，在最小精度损失下显著降低推理延迟。
LMSYS Blog SGLang Diffusion：加速视频与图像生成
SGLang 推出 Diffusion 推理引擎，将高性能 LLM 服务架构扩展至视频与图像生成领域。该系统支持 Wan、Hunyuan、Qwen-Image、Flux 等主流开源扩散模型，在 H100/H200 GPU 上实现 1.2-5.9 倍加速。通过 ComposedPipelineBase 架构抽象与统一序列并行技术，提供 OpenAI 兼容 API、CLI 及 Python 接口，并与 FastVideo 合作覆盖从训练到部署的全流程。
蚂蚁 inclusionAI：GitHub 新仓库AI 评分4949 inclusionAI/dFactory：轻松高效的 dLLM 微调
inclusionAI 发布了 dFactory 平台，旨在简化去中心化大语言模型的微调过程。该平台通过自动化工作流和优化的资源调度，显著降低了技术门槛与计算成本。用户无需深厚专业知识，即可利用分布式计算资源对如 LLaMA 等模型进行高效定制。关键改进包括将典型微调任务时间缩短约 40%，并支持多节点协作训练，提升了模型迭代效率。
LMSYS Blog SGLang-Jax：面向TPU的开源推理引擎
SGLang团队发布基于Jax和XLA的开源推理引擎SGLang-Jax，专为原生TPU推理优化。该引擎采用纯Jax架构，集成Ragged Paged Attention v3、EAGLE推测解码及MoE内核优化，支持连续批处理与前缀缓存。关键性能指标显示，重叠调度器将Qwen3-32B批处理间隔从12毫秒压缩至38微秒，EPMoE策略带来3-4倍延迟加速。基准测试表明，其性能匹配或超越现有TPU推理方案。
MiniMax：Blog精选AI 评分6262 MiniMax M2与AI智能体：简中见巧
MiniMax正式开源并发布了专为AI智能体（Agent）和代码场景设计的大语言模型MiniMax M2。该模型API定价极具竞争力，仅为Claude Sonnet价格的约8%，且推理速度更快。在关键的智能体能力方面，其工具调用和深度搜索表现接近顶尖模型，编程能力在国内处于领先地位。MiniMax M2旨在解决性能、价格与速度的“不可能三角”，为构建更普及的AI智能体应用提供基础，体现了其“智能平权”的愿景。
推荐理由：MiniMax M2 把 Agent 模型的价格打到了 Claude 的 8%，速度还翻倍，开源权重直接可用，做 Agent 的开发者值得上手试试。
LMSYS Blog SGLang集成KTransformers：基于AMX优化与专家延迟的MoE混合推理加速
SGLang现已集成KTransformers后端，为DeepSeek-V3等稀疏MoE模型提供CPU/GPU混合推理加速。该技术采用Intel AMX优化内核，使单路Xeon算力达21.3 TFLOPS，较PyTorch原生实现快3.9倍；通过NUMA感知张量并行和CUDA Graph调度，双路服务器解码吞吐量提升63%，GPU内核启动开销从20%降至接近零；专家延迟机制支持跨层重排计算以重叠CPU与GPU执行，在精度变化低于0.5%的情况下使解码吞吐量再提高1.45倍。
蚂蚁 inclusionAI：GitHub 新仓库AI 评分4848 inclusionAI/linghe
inclusionAI 开源了专为大语言模型训练设计的高性能内核库 Linghe。该库旨在优化 LLM 训练过程中的计算效率，通过底层内核创新提升训练速度并降低资源消耗。Linghe 支持当前主流的 Transformer 架构模型，为开发者和研究者提供了更高效的训练工具，有望加速 LLM 的开发与迭代进程。
LMSYS Blog SGLang与NVIDIA携手加速SemiAnalysis InferenceMAX及GB200优化
SGLang与NVIDIA针对Blackwell架构（GB200 NVL72）深度优化，在DeepSeek R1模型上实现每GPU 26k输入与13k输出tokens/秒的高吞吐。通过Prefill-Decode分离架构、大规模专家并行及FP8/NVFP4内核优化，SGLang在SemiAnalysis InferenceMAX基准测试中较Hopper代际获得4倍性能提升，并被选为该基准在NVIDIA与AMD硬件上运行DeepSeek模型的默认推理引擎。
蚂蚁 inclusionAI：GitHub 新仓库精选AI 评分6666 Ming-VideoMAR：基于连续令牌的自回归视频生成模型
Ming-VideoMAR 是一款仅解码器的自回归图像到视频生成模型，采用连续令牌统一视觉表征。它首次将时间因果性与空间双向性作为视频自回归核心原则，并提出了整合掩码生成的下一帧扩散损失。该模型首次实现了视频生成的零样本分辨率缩放，能灵活生成远超训练分辨率的视频。其在训练与推理效率上表现突出，参数量、训练数据量和GPU消耗仅为之前最佳模型Cosmos的极小比例（9.3%、0.5%和0.2%），同时在定量与定性评估中均实现超越。模型代码与检查点已开源，论文已被NeurIPS 2025接收。
推荐理由：蚂蚁把自回归视频生成的训练成本砍到 Cosmos 的 0.2% 还能赢，这个效率信号比分数本身更值得关注，做视频生成的团队该认真看看它的课程学习和渐进分辨率策略。
Answer.AI 官方研发博客精选AI 评分6565 Answer.AI 开源 cachy，让 notebook 中 LLM 调用快 60 倍
Answer.AI 发布开源 Python 包 cachy（pip install pycachy），通过补丁 httpx 的 send 方法，把 Anthropic 和 OpenAI SDK 的 LLM 调用响应自动缓存到本地并在相同请求时复用，无需编写 mock。
推荐理由：原文给出了补丁原理和提速数据，读者可以直接复用这个零代码缓存方案加速自己的 LLM 测试和 notebook 工作流。
蚂蚁 inclusionAI：GitHub 新仓库精选AI 评分5858 inclusionAI/dInfer
inclusionAI团队发布了dInfer，一个专为扩散语言模型设计的高效推理框架。该框架旨在解决扩散模型在文本生成领域推理速度慢、资源消耗大的核心挑战。dInfer通过一系列底层优化技术，显著提升了推理效率，能够更快地生成文本，同时降低计算成本，为扩散模型在更广泛的实际应用场景中部署提供了关键技术支持。
推荐理由：蚂蚁把扩散语言模型的推理框架开源了，这类模型的推理效率一直是落地瓶颈，做端侧或低成本部署的团队值得看看能不能接上。
蚂蚁 inclusionAI：GitHub 新仓库精选AI 评分5757 inclusionAI发布MingTok-Audio：首个统一连续语音分词器
inclusionAI团队推出了MingTok-Audio，这是首个能有效融合语义与声学特征的统一连续语音分词器，适用于语音理解与生成任务。该模型基于纯因果Transformer架构，去除了卷积层以提升效率，并采用VAE进行连续特征建模以实现高质量音频重建。在语音重建性能上，其帧率为50，在SEED-ZH和SEED-EN测试集上的PESQ分别达到4.21和4.04，SIM为0.96，STOI为0.98，显著优于对比模型。在下游ASR任务中，其在多个方言数据集上取得了更低的错误率，例如在Hunan Minnan数据集上WER低至9.80%。
推荐理由：蚂蚁把语音 tokenizer 做到了 PESQ 4.2 的离谱分数，比第二名翻了快一倍，做语音理解和生成的团队值得拿这个当新 baseline 跑一下。
LMSYS Blog SGLang 发布首日支持 DeepSeek-V3.2：集成稀疏注意力机制
SGLang 在发布首日即支持 DeepSeek-V3.2，该模型基于 DeepSeek-V3.1-Terminus 引入 DeepSeek Sparse Attention (DSA) 机制。DSA 通过 Lightning Indexer 和 Top-k Token Selection 将注意力复杂度从 O(L²) 降至 O(Lk)，在 128K 长上下文下实现训练与推理效率大幅提升且质量损失可忽略。SGLang 实现了专用缓存与 Native Sparse Attention 后端，并提供了面向 NVIDIA、AMD MI350X/MI355X 及 NPU 的部署方案与容器镜像。
智源 FlagOpen：原创开源项目AI 评分5151 智源 FlagOpen 开源跨本体视觉-语言-动作模型 RoboBrain-X0
智源 FlagOpen 发布开源项目 RoboBrain-X0，一个面向 token 推理与动作生成的跨本体视觉-语言-动作模型。模型基于 RoboBrain 2.0 和 OmniSAT 动作分词器，用统一动作词表和 GRVQ 实现对 AgileX、R1-Lite、Franka 等异构本体的零样本泛化与任务分解。
LMSYS Blog PD-Multiplexing：基于 GreenContext 解锁高有效吞吐 LLM 服务
SGLang 团队推出 PD-Multiplexing 服务范式，利用 NVIDIA GreenContext（CUDA 12.4+）的 GPU 细粒度分区能力，通过单卡内部空间共享多路复用 prefill 与 decode 阶段，消除传统 PD 分离的跨实例 KV 缓存迁移开销。该方案将 prefill 切分为小块以消除 GPU 气泡，结合离线训练的延迟预测器实现 SLO 感知调度，动态分配 SM 资源以适应负载变化，从而在满足 TTFT 与 ITL 延迟 SLO 的同时显著提升模型即服务（MaaS）的 goodput。
LMSYS Blog GB200 NVL72部署DeepSeek V3/R1（二）：PD分离与大规模EP实现3.8倍Prefill、4.8倍Decode吞吐
SGLang团队基于GB200 NVL72优化DeepSeek V3/R1推理，采用FP8 Attention、NVFP4 MoE、大规模专家并行及PD分离等技术。2000 token输入下，单卡Prefill达26,156 tokens/s，Decode达13,386 tokens/s，较H100提升3.8倍和4.8倍。BF16/FP8配置下仍达18,471/9,087 tokens/s。FP8与NVFP4低精度内核分别带来1.8倍和1.9倍加速且精度损失可忽略。
LMSYS Blog SGLang 实现确定性推理与可复现 RL 训练
SGLang 基于 Thinking Machines Lab 的 batch-invariant 算子实现全确定性推理，解决动态批处理导致的输出差异问题，兼容 chunked prefill、CUDA graphs 及非贪婪采样。该方案将性能开销从 61.5% 降至 34.35%，配合 CUDA graphs 可实现 2.8 倍加速。SGLang 与 slime 合作进一步实现 100% 可复现的 RL 训练，在 Qwen3-8B 验证中两次独立训练产生完全一致的曲线，为科学实验提供可靠保障。
LMSYS Blog 在 AMD GPU 上优化 FP4 混合精度推理
针对 AMD Instinct MI250/MI300 系列 GPU 缺乏原生 FP4 矩阵乘法支持的问题，研究团队推出 Petit 内核集合，通过 FP16/BF16 × FP4 混合精度计算实现在现有硬件上高效运行 FP4 量化模型。该方案使 Llama 3.3 70B 端到端推理性能提升 1.74 倍，矩阵乘法操作较 AMD 官方 hipBLASLt 库快 3.7 倍。Petit 采用离线重排、LDS 无冲突访问及芯片拓扑感知分区等优化技术，已以 BSD 协议开源并集成至 SGLang 0.4.10 版本。
LMSYS Blog SGLang HiCache：支持多种存储后端的快速分层 KV 缓存
SGLang 发布 HiCache 分层 KV 缓存系统，通过 HiRadixTree 页表管理 GPU、CPU 及外部存储中的缓存数据，支持 Mooncake、3FS、NIXL 等多种后端。系统采用 GPU 辅助 I/O 内核和层间重叠机制加速数据传输，在 Qwen3-Coder-480B 编码场景中将 TTFT 降低 56%、吞吐量翻倍、缓存命中率提升至 80%；在 DeepSeek-R1-671B 部署中实现缓存命中时 TTFT 降低 84%，整体吞吐量最高提升 6 倍。
上海人工智能实验室 InternLM：原创项目AI 评分5151 InternLM 发布 ClusterX：统一多云集群任务调度的 CLI 和 Python API
InternLM 开源 ClusterX，为不同云服务厂商的集群调度提供统一的 CLI 和 Python API，屏蔽集群差异，支持统一的任务启动、查看、停止、日志和列表接口，可在支持的集群上无缝迁移任务。
蚂蚁 inclusionAI：GitHub 新仓库AI 评分5151 InclusionAI 开源 MoE 大语言模型 Ling-V2
InclusionAI 发布并开源了其混合专家大语言模型 Ling-V2。该模型采用 MoE 架构，旨在通过更高效的参数利用来提升模型性能。此次开源意味着研究者和开发者可以自由访问、使用并基于此模型进行进一步的创新与开发。
Claude Platform：开发者版本说明精选AI 评分6161 Claude Platform 发布 PHP SDK 测试版
Claude Platform 于 8 月 27 日推出 PHP SDK 测试版。该 SDK 允许开发者通过 PHP 语言调用 Claude API，构建基于 Claude 的应用程序。
推荐理由：Anthropic 给 PHP 开发者递了橄榄枝，beta 版 SDK 让 PHP 项目接入 Claude 更容易了，虽然量级不大但补上了生态缺口。
LMSYS Blog SGLang 支持 gpt-oss：从 Day 0 支持到性能增强
SGLang 针对 openai/gpt-oss-120b 发布重大性能优化，prefill 吞吐量提升 2.1 倍，decode 吞吐量提升 2.25 倍。新版本集成 FlashInfer 内核以释放 NVIDIA Blackwell 性能，通过 FlashAttention-3 加速 Hopper GPU，并原生支持 AMD MI350。在 B200 上 MXFP4 精度下单批次解码速度达 416.02 tok/s。同时引入 EAGLE3 投机解码支持，GPQA 基准测试验证精度与官方报告一致，确保高性能不损失推理能力。
蚂蚁 inclusionAI：GitHub 新仓库精选AI 评分5858 inclusionAI/UI-Venus
UI-Venus 是一款本地 UI 智能体，仅以屏幕截图作为输入，即可执行精确的图形用户界面元素定位与高效导航。该代理无需依赖系统底层代码或辅助功能接口，直接通过视觉信息理解界面结构，实现自动化操作。其核心能力在于对任意应用或网页中的按钮、菜单、文本框等元素进行准确识别与交互，提升了跨平台任务执行的通用性与可靠性。
推荐理由：蚂蚁这个纯截图驱动的 UI Agent 在当时算是早期探索，代码开源可直接用，做 GUI 自动化的值得看看底层怎么实现元素定位和导航。
LMSYS Blog SGLang开源SpecForge：加速Eagle3投机解码训练
SGLang团队开源SpecForge训练框架，专为Eagle3投机解码设计，原生集成SGLang推理引擎实现训推无缝衔接。框架内置Training-Time Test支持，提供Online与Offline双模式，分别适配低存储多GPU与高存储低GPU场景。基于ShareGPT和UltraChat 32万样本的实验显示，Llama 4 Maverick与Scout draft模型在MT-Bench上分别实现2.18倍与2.0倍推理加速。
LMSYS Blog 使用多 Token 预测（MTP）加速 SGLang：吞吐量提升 60% 的推理优化方案
SGLang 推理框架现已支持多 Token 预测（MTP）技术，并与大规模专家并行（EP）、预填充-解码分离（PD Disaggregation）等特性无缝集成。该技术通过轻量级草稿模型预测多个未来 Token，再由完整目标模型并行验证，在保持生成质量不变的前提下，可将 DeepSeek V3 等模型的输出吞吐量提升高达 60%。在 16 张 H200 GPU 的小规模部署场景中，该方案显著优化了长序列推理效率，为生产环境提供即插即用的性能增益。
Prime IntellectAI 评分5252 Prime Intellect 发布 SYNTHETIC-2：400 万条协作生成的推理轨迹开源数据集
Prime Intellect 发布开源数据集 SYNTHETIC-2，包含 400 万条经验证的推理轨迹，由全球 1253 块 GPU 在 3 天内通过流水线并行分布式推理协作生成，覆盖数学、代码及指令遵循等可验证 RL 任务。
LMSYS Blog slime：面向 RL 扩展的 SGLang 原生后训练框架
slime 团队发布面向大规模 RL 训练的后训练框架 slime，原生集成 SGLang 推理引擎与 Megatron-LM 训练引擎。框架通过 sgl-router 提供可定制 rollout 接口与灵活训练配置，支持同地/解耦部署、同步/异步训练及 SFT 冷启动。用户可通过 OpenAI 兼容 API 与智能体环境交互，无需修改环境代码。框架完整支持 SGLang 优化参数（如 EP MoE、DP Attention）及 Megatron 并行策略（TP/PP/EP/CP），提供独立调试模式与检查点转换工具，基础镜像基于 lmsysorg/sglang:dev。
LMSYS Blog OME：以模型驱动架构革新 LLM 基础设施
Oracle Cloud Infrastructure 推出 OME（Open Model Engine），一款 Kubernetes-native 的模型服务框架。该系统采用模型驱动架构，通过 BaseModel、ServingRuntime 等自定义资源将模型视为一等公民，有效弥合 ML 工程师与生产团队之间的鸿沟。OME 将模型上线周期从数月压缩至数天，显著减少配置错误，并原生支持多节点推理、Prefill-decode 分离、Serverless 自动扩缩容及 Multi-LoRA 等企业级特性，集成 SGLang 运行时，实现复杂部署策略的编码复用与一键部署。
Prime Intellect精选AI 评分6161 Prime Intellect 发布 SYNTHETIC-2 开源推理数据集与行星尺度流水线并行推理运行
Prime Intellect 发布 SYNTHETIC-2，一个开源推理数据集，基于 DeepSeek-R1-0528 生成经过验证的推理轨迹，并启动行星尺度的流水线并行分布式推理运行。
推荐理由：原文给出流水线并行推理与 TOPLOC v2 验证机制的细节，开源社区可据此了解如何用消费级 GPU 参与大规模推理贡献。
Cognition 模型 / Devin 博客AI 评分5858 Cognition 开源 blockdiff：用于 VM 磁盘快照的块级差异文件格式
Cognition 开源 blockdiff，一种对 VM 磁盘做即时块级差异的文件格式，实现为其自研 hypervisor otterlink 的快照能力，后者已支撑 Devin 的研究与生产负载。