Liquid AI 发布 RIPL 实时推理引擎，LFM 端到端延迟低于 50 ms
Liquid AI 发布实时推理管线 RIPL，可在实时请求路径中服务 230M 至 2.6B 参数的 LFM2.5 模型，端到端生成响应低于 50 ms。按其自测数据，RIPL 的 p95 延迟比 vLLM 上的 Qwen3.5 低 5.6 至 28.4 倍，其中 LFM2.5-1.2B 为 155.8 ms 对 4,431 ms。
#推理
MarkTechPostAI 评分4848 Modal 官方工程博客AI 评分4747 Sakana AI 如何在 Modal 上部署约 1 万亿参数 MoE 模型 Sakana Namazu
Modal 工程团队与 Sakana AI 合作，将约 1 万亿参数的 MoE 模型 Sakana Namazu 部署到 Modal 上，通过定制 NVFP4 量化与自训练 DFlash 草稿模型支撑其公开 API 上线。
IT之家·人工智能AI 评分4242 蚂蚁数科发布决策模型 LingDT-Decision-1.0，Token 消耗降低超 90%
蚂蚁数科发布决策模型 LingDT-Decision-1.0，提供 4B 和 27B 两个版本，已在 DTMaaS 平台上线并限时免费体验。该模型首创原生多选与按序决策（DAG）能力，在 23 项开源评测基准中超过 Microsoft-Decision-1、Jev 1.13 等决策模型，27B 版本在同参数模型中准确率最高。
公众号：小红书技术AI 评分5252 小红书 NeurIPS 2026 论文 Hint Tuning 用推理模型思维链作 hint，1000 条数据让推理 token 减少 31.5%
小红书大模型基建部发布 NeurIPS 2026 论文 Hint Tuning: Less Data Makes Better Reasoners，把推理模型的思维链按反思词切成片段作为 hint 交给同家族 Instruct 模型，测出每道题的最小有效提示，据此构造长度可变的训练数据。
MarkTechPostAI 评分4646 Perplexity 与 NVIDIA 提出 JOLT：教师与学生联合训练的后训练强化学习方法
Perplexity 与 NVIDIA 团队提出后训练方法 JOLT，让同一个模型同时扮演教师和学生，且教师也参与训练。在 MATH 上，JOLT 以 6.5 倍更少的训练 token 达到 GRPO 的准确率；JOLT+ 在 AppWorld 状态测试通过率达 72.09%，比 GRPO 的 62.20% 高 9.9 个百分点。
MiniMax (official)@MiniMax_AIAI 评分4646很高兴 Inferact 成为 M3.1 Flash 的 API 发布合作伙伴！ 感谢你们将 vLLM 专长带入此次合作。期待继续携手为复杂的智能体工作负载构建服务基础设施。
引用Inferact@inferactInferact is an API launch partner for MiniMax M3.1 Flash! 🎉 We're working with @MiniMax_AI on production inference for its latest model, built for multi-step automation, real-codebase engineering and visual reasoning. M3.1 Flash scored 29.6 on Agents’ Last Exam (ALE), alongside 72.5% on AutomationBench-AA and 73.67% on DeepSWE—capabilities that matter when agents need to plan work, use tools and carry tasks through. Our contribution is the serving stack: bringing our vLLM engineering and the Inferact Platform to the collaboration. Thanks to the MiniMax team for the partnership. Explore the model and API integration: https://platform.minimax.io/docs/guides/text-generation
Baseten Base Labs：模型研究AI 评分5959 Baseten Base Labs 发布决策模型 mammoth-1（27B）与 elephant-1（9B）并开源权重
Baseten Base Labs 将 Qwen3.5-9B 和 Qwen3.5-27B 后训练为决策模型 elephant-1 与 mammoth-1 并开源权重。
Baseten 工程博客AI 评分6060 Baseten 发布决策模型 mammoth-1（27B）和 elephant-1（9B），开源并免费试用一周
Baseten 研究实验室 Base Labs 发布开源决策模型 mammoth-1（27B）和 elephant-1（9B），基于 Qwen3.5-27B 和 Qwen3.5-9B 在 621 万决策样本上后训练而成。
Tomasz Tunguz 博客AI 评分6565 Tomasz Tunguz 分析 GPU 收入阶梯：推理业务经济性健康但面临通缩压力
Tomasz Tunguz 结合 DeepSeek V4.1-Flash 披露与 SpaceX 财报，梳理每卡小时收入的四个层级：DeepSeek 理论最高 38 美元、B200 现货 8.77 美元、SpaceX 合同价 5.27 美元、实际收入 2.44 美元。
The Decoder：AI NewsAI 评分6666 Inception 发布扩散语言模型 Mercury 3，宣称部分基准超越 GPT-6 Luna 和 Claude Haiku 5.5
Inception 发布扩散语言模型 Mercury 3，自称在 12 项基准中 8 项领先 GPT-6 Luna 和 Claude Haiku 5.5，生成速度达 1,068 tokens/秒，约为两个对手的 4 到 8 倍。
OpenBMB@OpenBMBAI 评分6161引用OpenBMB@OpenBMB35B multimodal AI. Running locally on an iPhone. Now at over 20 tokens/sec. 🚀 MiniCPM-V 4.7 achieves 20.51 tokens/sec average decoding speed on iPhone 18 Pro Max (12GB) — a 6.07× speedup over the same device’s unoptimized SSD expert-loading baseline. ⚡ Behind the speed: Lookahead Expert Scheduling (LES), optimized expert loading, fine-grained quantization, and DSpark speculative decoding. 📱 Watch the new on-device demo below. Powerful multimodal AI, right in your pocket. Try it 👇 🔗 GitHub: http://github.com/OpenBMB/MiniCPM-V 🤗 Hugging Face: http://huggingface.co/collections/openbmb/minicpm-v-47 LES: https://github.com/tc-mb/llama.cpp-omni/blob/master/docs/les/lookahead-expert-scheduling.md #MiniCPM #OpenBMB
X.PIN@thexpinAI 评分4646GPT-6 和 Fable 5.5 发布后中国模型沉寂超一个月，有观点认为中国无法再靠知识蒸馏缩小与 OpenAI、Anthropic 的差距。
公众号：小红书技术AI 评分4848 小红书 DoSA 将长上下文首 token 延迟无损减少近一半
小红书自研的稀疏注意力索引器加速方法 DoSA，在保持原始 Top-K 选择结果的前提下，用分数上下界提前排除不可能入选的候选。
- X.PIN@thexpinAI 评分7272
DeepSeek 宣布将内部推理框架 DeepInfer 完全开源，代码位于 github.com/deepseek-ai/DeepInfer。
引用DeepSeek@deepseek_ai🚀 隆重推出 DeepInfer，我们自研的推理框架，现已完全开源！ 以高吞吐量和低延迟大规模支撑 DeepSeek-V4.1-Flash。我们分享生产环境技术栈，帮助社区降低计算成本、减少能源消耗，让 AI 更可负担。 🔗 http://github.com/deepseek-ai/DeepInfer 1/4
Rohan Paul@rohanpaul_aiAI 评分4343引用Eagle@EagleCorpEAGLE-4 is here. From EAGLE-1 to EAGLE-3, we’ve kept making inference faster. EAGLE-4 is our fastest yet. 961.6 tokens/s on @Alibaba_Qwen’s Qwen3.8-27B with TokenSpeed (BF16, 4× @NVIDIA B300, TP4, one request, T=0). Github: https://github.com/eagle-hq/EAGLE-4
Arena.ai@arenaAI 评分5757引用Arena.ai@arenaUpdate to the Agent Arena Pareto frontier: GPT-6 Luna (Max) has landed on the Agent Arena Pareto frontier with +1.59% net improvement at a median cost of just $0.05 per task! Luna costs 29% less than DeepSeek-V4.1-Flash and 76% less than Hy4 preview, while trailing their net-improvement scores by just 2.27 and 2.51 percentage points respectively. Compared to other GPT models on the Pareto frontier, GPT-6 Luna (Max) costs 94% less than GPT-6 Sol (Max), and 98% less than GPT-6 Astra (Max). Congrats to the @OpenAI team on this cost-efficient release!
Zyphra ResearchAI 评分4646 Zyphra Inference Wave 2：在 MI355X 上加速 MoE 与长上下文服务
Zyphra 发布 Inference Wave 2，在 MI355X 上通过投机解码与 MXFP4 量化加速 MoE 和长上下文服务。GLM-5.3 在 vLLM 基线中单请求解码提速 2.7x、32 并发提速 2.0x，分别采用 MTP（GLM-5.3、DeepSeek-V4）与 DSpark（Kimi-K3）。
Hacker News：AI 热帖AI 评分5151 arXiv 论文探究 AI 生成文本为何难以理解
arXiv:2610.29162 研究发现，九个前沿及接近前沿的模型相对人类写作更多使用无生命主语配动词、低频 n-gram，多数还使用更长的句法依赖、更多堆叠名词和缩略宾语关系从句，且不同模型家族差异明显。研究提出假说：人类语言为成功沟通优化，而 AI 文本日益为数学、代码和推理等目标优化，倾向信息密度而非沟通效果；作者通过对语言模型施加长度惩罚微调使其偏离人类语言行为，为该假说提供了概念验证。
- Rohan Paul@rohanpaul_aiAI 评分6363
DeepSeek 以 Apache 2.0 许可开源了支撑其生产服务的推理引擎 DeepInfer，8 小时获得 6.3K+ stars。
公众号：小红书技术AI 评分4747 小红书 AllSpark 提出 ROSS：让模型重学训练中自生成的 rollout
小红书 AllSpark Team 提出 ROSS，让模型重新学习训练中自己生成的 rollout，通过筛选有价值轨迹片段并保留完整上下文做选择性监督。基于 Qwen3.6-35B-A3B，该方法在单轮 RL 中把数学均分从 75.19% 提至 76.98%、代码从 42.09% 提至 44.21%，MOPD 均分从 58.40% 提至 62.20%。
IT之家·人工智能AI 评分7272 DeepSeek 将内部推理框架 DeepInfer 全面开源
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源，此前已开源大模型、TileLang 编译工具及推理算子库。DeepInfer 集成高性能算子与深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力，兼容英伟达与华为昇腾平台，已支撑 DeepSeek V4.1 Flash 高吞吐、低延迟的大规模推理服务。
MarkTechPostAI 评分6161 Cloudflare 发布 System One 抽取模型 Clairic 预览版，上线 Workers AI
Cloudflare 在 Workers AI 上发布 System One 抽取模型 Clairic 预览版，读取文本或图片并在 1 次前向传播中返回带类型的值而非生成文本，每个字段附带置信度和 p_null。
公众号：面壁智能精选AI 评分6868 面壁智能解析前瞻专家调度 LES 如何让 35B MoE 在手机端侧实时无损运行
面壁智能 MiniCPM-V 团队介绍支撑 MiniCPM-V 4.7 端侧运行的前瞻专家调度（LES）技术，称首次实现 35B-A3B 规模 MoE 在端侧实时无损运行，iPhone 18 Pro Max 实测解码超 20 token/s。
推荐理由：原文拆解了 LES 在调度、存储、计算三层的具体设计，并给出消融数据，方法可迁移到其他 MoE 模型的端侧部署。
MarkTechPostAI 评分6969 Inception 发布扩散语言模型 Mercury 3，速度达 1,068 tok/s
Inception 发布扩散语言模型 Mercury 3，官方称在 NVIDIA GPU 上达到 1,068 tok/s，上下文窗口为 1M token，参数量超过 Mercury 1 的 40 倍。
vLLM 官方博客AI 评分5353 vLLM 讲解 Elastic EP 如何借助 NIXL EP 实现近零停机扩缩容
vLLM 官方博客讲解如何通过异步准备与 NIXL EP 实现 Elastic Expert Parallelism 的近零停机扩缩容。
Artificial Analysis@ArtificialAnlysAI 评分6262引用Inception@_inception_aiMercury 3 is live: the most capable diffusion LLM released to date. It outperforms GPT-6 Luna and Claude Haiku 5.5 across a range of benchmarks while running at over 1,000 tokens per second. More than 40x the size of Mercury 1, 3x more intelligent across standard benchmarks, and just as fast, with a 1M-token context window. Available today on the Inception API, @baseten, and @OpenRouter .
The Decoder：AI NewsAI 评分6969 MiniMax 发布 M3.1 Flash 推理模型，单任务成本降至约 $0.22
MiniMax 发布推理模型 M3.1 Flash，在 Artificial Analysis Intelligence Index 得 42 分，比 M3 高 13 分，单任务成本约 $0.22，API 定价 $0.15/百万输入 token、$0.60/百万输出 token，支持 100 万 token 上下文和图文输入，计划 10 月 23 日开放权重。
Inception Labs：Blog精选AI 评分6969 Inception Labs 发布扩散大语言模型 Mercury 3，速度达 1068 tokens/秒
Inception Labs 发布扩散式大语言模型 Mercury 3，称其在多项基准上超过 GPT-6 Luna 和 Claude Haiku 5.5，速度达 1068 tokens/秒，参数量较 Mercury 1 扩大 40 倍以上。
推荐理由：官方发布给出扩散模型规模化的关键数据，包括速度、上下文和价格，可用作评估实时 AI 应用选型的参考。
- Artificial Analysis@ArtificialAnlys精选AI 评分6666
推荐理由：第三方评测机构给出该模型在多项基准的具体分数和成本对比，读者可据此评估其在开源模型中的性价比位置。
Cohere Labs：官方研究博客AI 评分4242 Cohere Labs 提出 CALIBER：让推理模型在推理前后分别给出置信度
Cohere Labs 提出 CALIBER 方法，训练推理模型在开始推理前估计解题成功率、推理后再评估该答案正确的可能性。在 BigMathDigits 上，7B 模型的 ECE 从最强单置信度基线的 0.059 降至 0.028，降幅 52.5%，AUROC 达 0.806、Brier 分数 0.130。该 7B 模型在未经额外训练的情况下，改进还扩展到数学之外的问答基准。
Fireworks AIAI 评分5656 Fireworks 开放 Muse Glimmer 30B 免费 SFT 训练，微调版在 Kalshi 预测上超过 Jev 11.2 个百分点
Fireworks 推出 Free Weights Club，Muse Glimmer 30B 的 SFT 训练在 11 月 30 日前免费。
Fireworks AIAI 评分4444 Fireworks AI 免费微调 Muse Glimmer 30B，预测准确率超 Jev 11.2 个百分点
Fireworks AI 推出 Free Weights Club，Muse Glimmer 30B 的 SFT 训练在 11 月 30 日前免费。
MiniMax：Blog精选AI 评分7070 MiniMax 发布 M3.1 Flash，推理提速近三倍、用量成本降低 70%
MiniMax 发布 MiniMax M3.1 Flash，匿名模型 Space Bunny 是其早期版本，曾处理超过 200 万亿 token。
推荐理由：官方给出具体基准分数、推理速度和每百万 token 定价，读者可直接对比智能体任务的性价比变化。
- Rohan Paul@rohanpaul_aiAI 评分5858
Princeton 与 Google 等机构的论文提出 JevAgentHarness，用小型决策模型回答智能体中的多选例行决策，仅在置信度低于阈值时交给 LLM。
IT之家·人工智能AI 评分4545 英伟达优化 Kimi K3 推理速度，GB300 NVL72 上提升 1.68 倍
英伟达通过一项上游 vLLM 优化，让 2.8 万亿参数量的 Kimi K3 在 GB300 NVL72 上达到 423 tok/s/user 的推理速度，性能提升 1.68 倍。