Baseten 发布 3B 以下决策模型 joey-1，2,000-token 请求 P50 延迟 20 ms
Baseten Base Labs 发布决策模型 joey-1，直接以单 token 和校准概率返回决策结果，称内部测试中为 3B 及以下参数最强决策模型。2,000-token 请求 P50 端到端延迟 20 ms，约比 elephant-1（49 ms）快 2.5 倍，价格为每百万 token $0.01、是 mammoth-1 的十分之一。
#推理
Baseten 工程博客AI 评分5555 Amazon ScienceAI 评分4444 Amazon 与 Booking.com 用知识蒸馏加 Medusa 加速旅行 LLM
Amazon 与 Booking.com 将知识蒸馏与 Medusa 结合，把 70B 的 Llama-3.1 教师模型能力迁移到 1.1B 的 TinyLlama 学生模型，在保持最佳开源 LLM 质量的同时成本降至不到三分之一、速度最高提升 20 倍。
vLLM 官方博客精选AI 评分7171 vLLM 发布 Mistral Large 4 Day 0 支持
vLLM 团队宣布对 Mistral 新旗舰模型 Mistral Large 4 提供 Day 0 支持，该模型为 1T 参数、每 token 激活 49B 的原生多模态 MoE 模型，采用 MLA 稀疏注意力加 DSA top-k 索引器、跨层 KV 共享、NoPE、SSMax 和 LeRoPE 等新架构，并内置 DSpark 推测解码草稿器与 Pixtral 视觉编码器。
推荐理由：vLLM 团队详解支持 Mistral Large 4 所需的架构适配与量化、长上下文、推测解码等实测数据，可作部署参考。
Artificial Analysis 完整文章AI 评分6565 Artificial Analysis 发布 Intelligence Index v5 评测基准
Artificial Analysis 发布 Intelligence Index v5，引入 FrontierCode 2.0 和 Terminal-Bench-Science 两个新基准，并升级 HLE-Diamond、AA-Omniscience v1.1 和 CritPt v2，60% 的指数基于私有测试集或保留答案。
NVIDIA Technical Blog：Agentic AI / Generative AIAI 评分5151 NVIDIA 实测三种优化将 Ling-3.0-flash 在 DGX Spark 上的解码吞吐提升 42.5%
NVIDIA 技术博客介绍在 DGX Spark 上加速 Ling-3.0-flash 推理的三种优化：Humming MXFP4 MoE 内核、LM head 在线 FP8 量化、以及用 NEXTN 做 MTP 投机解码。
蚂蚁 inclusionAI：HuggingFace 新模型AI 评分5656 蚂蚁 inclusionAI 发布 Ling-3.1-flash-1019：560B 总参数 MoE，1M 上下文
蚂蚁 inclusionAI 发布 Ling-3.1-flash-1019，为 Ling-3.1-flash 的升级版，总参数 560B、每 token 激活 25B、上下文窗口 1M token。
OpenAI：官网动态精选AI 评分8585 OpenAI 宣布模型产出三项数学成果并与学界协作发布
OpenAI 宣布其模型在调和分析、复杂度理论和量子场论方面取得三项成果，包括证明各维度的 local smoothing 猜想（进而解决 Kakeya 猜想与 Stein 限制猜想）、在 Lean 中验证 ETH 为假、以及给出 QCD 与纯 Yang–Mills 理论的严格存在性证明。
推荐理由：原文由当事方直接披露三项数学成果和三种外部协作发布模式，读者可据此了解其结果透明度与验证安排。
LG AI Research：官方研究博客AI 评分4545 LG AI Research 在 ICML 2026 提出 LOAM：用 LLM 设计强化学习的观测与动作空间
LG AI Research 在 ICML 2026 提出 LOAM，让 LLM 直接设计强化学习中的观测模型与动作模型，而非只设计奖励函数。该方法区分原始环境空间与智能体实际使用的空间，由 LLM 根据任务目标、终止条件、机器人结构及各变量含义生成观测与动作设计。研究源于 LG Chem 大山 NCC 工厂生产排程优化项目，团队发现观测与动作空间设计比奖励函数更困难。
字节 Seed：Research PapersAI 评分4545 字节 Seed 提出 Recycler：通过隐藏状态回收实现无额外成本的潜在推理
字节 Seed 提出 Recycler 架构，把上一 token 的顶层隐藏状态经轻量适配器与当前 token 嵌入一起送入下一步，在解码开销几乎不变的情况下保留跨步连续语义。该架构覆盖预训练、SFT、继续预训练与 RL 全流程，在数学和推理任务上参数效率突出，后期引入仍可超越参数量多 2–3 倍的模型。
vLLM 官方博客AI 评分4646 vLLM 在 GB300 NVL72 上规模化服务 DeepSeek-V4.1-Flash，解码吞吐与 DeepInfer 差距在 6% 以内
vLLM 用 P/D 分离与 Wide-EP 在单台 NVIDIA GB300 NVL72 上服务 DeepSeek-V4.1-Flash，在 SemiAnalysis AgentX 上达到每 GPU 954K tokens/s、单用户 P90 196 tokens/s，为早期单节点结果的 7.9 倍。
LMSYS BlogAI 评分4949 miniTE 技术报告：用原生 NVFP4 实现稳定高效的强化学习
针对原生 NVFP4 强化学习在训练后期出现的不稳定问题，LMSYS 提出算法 TRIAGE 与工程方案 miniTE。在 8×B300 上，采用 BF16 反向传播的 miniTE 完整学习器更新速度约为 BF16 的 1.33–1.37 倍，单独的固定输出服务测试吞吐约为 BF16 的 1.64 倍。
vLLM 官方博客AI 评分4545 vLLM 详解 GLM-5.3 在 16 张 H200 上的优化：PCP、DCP 与 Hybrid HiSparse
vLLM 博客详解 GLM-5.3 在 16 张 H200 上拆分 prefill 与 decode 节点的长上下文优化：PCP 按 token 而非注意力头切分 prompt，DCP 按 token 分片 KV cache，使 1M 上下文仅需每 GPU 6.7 GiB。
Artificial Analysis 完整文章精选AI 评分8282 Kimi K3.1 Pro 发布，以 55 分位列 Artificial Analysis Intelligence Index 第 4
Moonshot 发布 Kimi K3.1 Pro，在 Artificial Analysis Intelligence Index 得 55 分列第 4，较 Kimi K3 提升 11 分，仅低于 Claude Opus 5.5、Claude Sonnet 5.5 和 Muse Wonder Full。
推荐理由：榜单数据完整，K3.1 Pro 的智能体成绩、参数规模和价格变化都有具体数字可查。
vLLM 官方博客AI 评分6767 vLLM 实现 MiniMax-M3.1-Flash Day-0 支持
vLLM 在发布当天即支持 MiniMax-M3 系列新模型 MiniMax-M3.1-Flash，覆盖 NVIDIA Blackwell、Rubin 和 AMD MI350 系列 GPU。
Modal 官方工程博客AI 评分4747 Sakana AI 如何在 Modal 上部署约 1 万亿参数 MoE 模型 Sakana Namazu
Modal 工程团队与 Sakana AI 合作，将约 1 万亿参数的 MoE 模型 Sakana Namazu 部署到 Modal 上，通过定制 NVFP4 量化与自训练 DFlash 草稿模型支撑其公开 API 上线。
Baseten Base Labs：模型研究AI 评分5959 Baseten Base Labs 发布决策模型 mammoth-1（27B）与 elephant-1（9B）并开源权重
Baseten Base Labs 将 Qwen3.5-9B 和 Qwen3.5-27B 后训练为决策模型 elephant-1 与 mammoth-1 并开源权重。
Baseten 工程博客AI 评分6060 Baseten 发布决策模型 mammoth-1（27B）和 elephant-1（9B），开源并免费试用一周
Baseten 研究实验室 Base Labs 发布开源决策模型 mammoth-1（27B）和 elephant-1（9B），基于 Qwen3.5-27B 和 Qwen3.5-9B 在 621 万决策样本上后训练而成。
Zyphra ResearchAI 评分4646 Zyphra Inference Wave 2：在 MI355X 上加速 MoE 与长上下文服务
Zyphra 发布 Inference Wave 2，在 MI355X 上通过投机解码与 MXFP4 量化加速 MoE 和长上下文服务。GLM-5.3 在 vLLM 基线中单请求解码提速 2.7x、32 并发提速 2.0x，分别采用 MTP（GLM-5.3、DeepSeek-V4）与 DSpark（Kimi-K3）。
vLLM 官方博客AI 评分5353 vLLM 讲解 Elastic EP 如何借助 NIXL EP 实现近零停机扩缩容
vLLM 官方博客讲解如何通过异步准备与 NIXL EP 实现 Elastic Expert Parallelism 的近零停机扩缩容。
Inception Labs：Blog精选AI 评分6969 Inception Labs 发布扩散大语言模型 Mercury 3，速度达 1068 tokens/秒
Inception Labs 发布扩散式大语言模型 Mercury 3，称其在多项基准上超过 GPT-6 Luna 和 Claude Haiku 5.5，速度达 1068 tokens/秒，参数量较 Mercury 1 扩大 40 倍以上。
推荐理由：官方发布给出扩散模型规模化的关键数据，包括速度、上下文和价格，可用作评估实时 AI 应用选型的参考。
Cohere Labs：官方研究博客AI 评分4242 Cohere Labs 提出 CALIBER：让推理模型在推理前后分别给出置信度
Cohere Labs 提出 CALIBER 方法，训练推理模型在开始推理前估计解题成功率、推理后再评估该答案正确的可能性。在 BigMathDigits 上，7B 模型的 ECE 从最强单置信度基线的 0.059 降至 0.028，降幅 52.5%，AUROC 达 0.806、Brier 分数 0.130。该 7B 模型在未经额外训练的情况下，改进还扩展到数学之外的问答基准。
Fireworks AIAI 评分5656 Fireworks 开放 Muse Glimmer 30B 免费 SFT 训练，微调版在 Kalshi 预测上超过 Jev 11.2 个百分点
Fireworks 推出 Free Weights Club，Muse Glimmer 30B 的 SFT 训练在 11 月 30 日前免费。
Fireworks AIAI 评分4444 Fireworks AI 免费微调 Muse Glimmer 30B，预测准确率超 Jev 11.2 个百分点
Fireworks AI 推出 Free Weights Club，Muse Glimmer 30B 的 SFT 训练在 11 月 30 日前免费。
MiniMax：Blog精选AI 评分7070 MiniMax 发布 M3.1 Flash，推理提速近三倍、用量成本降低 70%
MiniMax 发布 MiniMax M3.1 Flash，匿名模型 Space Bunny 是其早期版本，曾处理超过 200 万亿 token。
推荐理由：官方给出具体基准分数、推理速度和每百万 token 定价，读者可直接对比智能体任务的性价比变化。
vLLM 官方博客AI 评分5757 vLLM 团队详解 Kimi K3 解码优化：GB300 上 842 tokens/s 与快速验证方法
vLLM 团队介绍如何用 Agent 辅助开发为 Kimi K3 构建统一的 CuTe DSL 解码路径，覆盖 attention、MoE 和 8/16 GPU 通信。
Anthropic：Research精选AI 评分7373 Anthropic 用 Claude Mythos 5 设计出更高效的量子电路，多项超过已发表最优设计
Anthropic 发布研究报告，让 Claude Mythos 5 在闭环中自主优化量子电路：模型提出电路设计、由自动评估器验证正确性并按 qubit 数乘以门数打分，八项涵盖化学、优化、量子模拟和数论的任务均超过此前最优已发表设计，部分提升达一个数量级以上。
推荐理由：Anthropic 自己的研究，给出 Claude 优化量子电路的具体方法和量化改进，对理解 AI 辅助科学发现有参考价值。
Reflection Blog同事件AI 评分8383 Reflection 发布首个开源权重模型 Beam，501B 参数 MoE 采用 Apache 2.0 协议
Reflection 发布首个开源权重模型 Beam，权重已在 Hugging Face 以 Apache 2.0 协议放出。Beam 为稀疏 MoE 模型，总参数 501B、激活 23B，面向编码、推理和长程智能体任务，提供 BF16、FP8、NVFP4 精度权重和投机解码 drafter 模型。
vLLM 官方博客精选AI 评分6565 vLLM 实现 Reflection Beam 501B MoE 模型 Day 0 支持
vLLM 宣布从 Day 0 支持 Reflection 的 Beam 模型，这是一个 501B 参数、每 token 激活 23B 的 MoE 模型，在 NVIDIA Blackwell 上完成优化。
推荐理由：原文给出了 Beam 在 vLLM 上的具体优化数据和部署命令，读者可以直接评估落地配置与吞吐收益。
LMSYS Blog精选AI 评分6565 SGLang 原生支持 Reflection 的 Beam 并驱动其生产 API
SGLang 团队宣布原生支持 Reflection 的 Beam 1.0（501B 参数 MoE、每 token 激活 23B），并以其驱动 Reflection 的生产 API。
推荐理由：原文给出 SGLang 对 Beam 的原生支持细节与实测吞吐数据，读者可据此评估该推理栈在智能体负载下的服务性能。
Artificial Analysis 完整文章精选AI 评分6666 Artificial Analysis 发布 NVIDIA Vera Rubin NVL72 首批 AA-AgentPerf 智能体推理评测
Artificial Analysis 公布首批 AA-AgentPerf 结果，测试 NVIDIA Vera Rubin NVL72 在智能体编码工作负载下的服务效率，对比 GB300 NVL72。
推荐理由：Artificial Analysis 实测四种模型在 Vera Rubin NVL72 与 GB300 上的每瓦吞吐，读者可据此评估新硬件对智能体推理服务成本的影响。
vLLM 官方博客精选AI 评分6060 vLLM 解析 Kimi K3 在 AMD Instinct MI355X 上的推理优化，单 GPU 吞吐超 NVIDIA HGX B300 24.4%
AMD 与 Embedded LLM 在 vLLM 官方博客详解 Kimi K3 在八卡 AMD Instinct MI355X 上的推理优化。
推荐理由：原文拆解了 50 多个 PR 背后的缓存、MoE、内核融合与投机解码优化思路，读者可迁移到自己的推理栈排查瓶颈。
Apple Machine Learning ResearchAI 评分4343 Apple 提出 SSR：用选择式结构化推理打造高效多模态搜索智能体
Apple 研究团队提出 Selection-based Structured Reasoning（SSR），将推理从开放式生成改为从预设可复用自然语言候选中选择，无需辅助任务头。在 2B 和 4B 模型、七个多模态搜索基准上，SSR 平均成功率与同规模领先搜索智能体相当，每轮推理延迟降低超 90%，单题模型总推理延迟降低 28–54%。
vLLM 官方博客精选AI 评分7575 vLLM 提供 Muse Spark Open Day 0 支持
vLLM 与 Meta Superintelligence Labs 合作，在发布当天即支持开源 MoE 模型 Muse Spark Open。该模型总参数 816B、每 token 激活 42B、上下文窗口 1M，面向长程智能体编码工作流。
推荐理由：vLLM 官方给出了 Muse Spark Open 的架构细节、量化版本与完整部署命令，读者可直接照此在生产环境上手推理与 LoRA RL。
Apple Machine Learning Research精选AI 评分6060 Apple 演示用 MLX 与 RDMA 在 Mac Studio 集群本地运行 816B 大模型
Apple 机器学习研究团队演示如何在 Mac Studio 上本地运行近万亿参数的 Muse Spark Open 等前沿模型，使用今天发布的新版 MLX（v0.30.1 起）与 macOS 26.2 的 RDMA over Thunderbolt 驱动。
推荐理由：Apple 给出了在 Mac Studio 集群上跑 816B MoE 模型的并行方案与基准数据，可迁移到本地大模型部署实践。
vLLM 官方博客AI 评分4747 vLLM 让 RL 训练更快：训练与推理 logprob 逐位一致，DeepSeek-V4-Flash 与 Nemotron 验证
vLLM 让训练前向直接调用其推理 kernel 并改造这些高性能 kernel，使 rollout 与训练对每个采样 token 产生逐位相同的 logprob（diff = 0）。
蚂蚁 inclusionAI：HuggingFace 新模型AI 评分4141 蚂蚁 inclusionAI 发布 ZwZ2-4B：基于 Qwen3.5-4B 的多区域视觉推理模型
蚂蚁 inclusionAI 发布 ZwZ2-4B，这是基于 Qwen3.5-4B 的 ZwZ2 系列模型，训练用完整图像、推理无需缩放工具。在六大领域 25 个 benchmark 上，它全部优于基座模型，整体准确率从 49.41 提升到 54.79（+5.38 分）。
vLLM 官方博客AI 评分5353 vLLM 详解 Elastic EP 如何实现近零停机 GPU 扩缩容
vLLM 团队介绍如何通过异步准备与 NIXL EP 让 Elastic Expert Parallelism 在扩缩容时实现近零停机。在 DeepSeek V4 Pro 的 GB200 基准中，16 到 20 GPU 扩容停机从 99.62 秒降至 0.82 秒，缩回时降至 1.96 秒。
vLLM 官方博客精选AI 评分6060 vLLM 推出无需置信头的在线拟合接受估计器，让 EAGLE、MTP 等草稿模型可用 Adaptive Verification
vLLM 支持 confidence scoring 扩展到所有基于草稿模型的投机类型，通过在线拟合的 logistic 回归从草发者 logits 推导 logit(q_max) 特征来预测目标模型的接受概率，作为 Adaptive Verification 的置信分。
推荐理由：原文给出无置信头草稿模型启用 Adaptive Verification 的在线估计方法、设计取舍和实测数据，方法可直接在 vLLM 中配置复用。
蚂蚁百灵：Developer Blog精选AI 评分6565 蚂蚁百灵开源 Ling-3.1-flash：总参数约 560B、每 Token 激活约 25B，支持 1M 上下文
蚂蚁百灵正式开源 Ling-3.1-flash，权重可在 Hugging Face 和 ModelScope 获取。模型总参数约 560B、每 Token 激活约 25B、最高支持 1M 上下文；经 MXFP4 与 block-FP8 量化后权重占用从约 534GB 降至 292GB，Hopper GPU 测试中服务部署由 8 卡降至 4 卡。
推荐理由：官方开源公告给出权重入口、Artificial Analysis 与 Design Arena 评测数据和 4 卡部署实测，便于评估自部署可行性。
蚂蚁 inclusionAI：HuggingFace 新模型AI 评分5959 蚂蚁 inclusionAI 发布 Ling-3.1-flash 混合推理模型
蚂蚁 inclusionAI 发布 Ling-3.1-flash，一个原生混合推理模型升级版，总参数 560B、每 token 激活 25B，上下文窗口 1M-token，架构为 Hybrid-linear MoE（KDA + Gated MLA）。