面壁智能解析前瞻专家调度 LES 如何让 35B MoE 在手机端侧实时无损运行
面壁智能 MiniCPM-V 团队介绍支撑 MiniCPM-V 4.7 端侧运行的前瞻专家调度（LES）技术，称首次实现 35B-A3B 规模 MoE 在端侧实时无损运行，iPhone 18 Pro Max 实测解码超 20 token/s。
推荐理由：原文拆解了 LES 在调度、存储、计算三层的具体设计，并给出消融数据，方法可迁移到其他 MoE 模型的端侧部署。
#推理
公众号：面壁智能精选AI 评分6868
vLLM 官方博客精选AI 评分6060 vLLM 解析 Kimi K3 在 AMD Instinct MI355X 上的推理优化，单 GPU 吞吐超 NVIDIA HGX B300 24.4%
AMD 与 Embedded LLM 在 vLLM 官方博客详解 Kimi K3 在八卡 AMD Instinct MI355X 上的推理优化。
推荐理由：原文拆解了 50 多个 PR 背后的缓存、MoE、内核融合与投机解码优化思路，读者可迁移到自己的推理栈排查瓶颈。
Apple Machine Learning Research精选AI 评分6060 Apple 演示用 MLX 与 RDMA 在 Mac Studio 集群本地运行 816B 大模型
Apple 机器学习研究团队演示如何在 Mac Studio 上本地运行近万亿参数的 Muse Spark Open 等前沿模型，使用今天发布的新版 MLX（v0.30.1 起）与 macOS 26.2 的 RDMA over Thunderbolt 驱动。
推荐理由：Apple 给出了在 Mac Studio 集群上跑 816B MoE 模型的并行方案与基准数据，可迁移到本地大模型部署实践。
vLLM 官方博客精选AI 评分6262 vLLM 分离式推理（Disaggregated Serving）实用指南
vLLM 官方博客发布分离式推理实用指南，讲解 vLLM v0.30.0 及以上版本中 prefill/decode 分离、无 GPU render 前端及两者组合的原理与运行方法。
推荐理由：作者来自参与开发的 IBM Research，给出 P/D 与 render 拆分的收益数据、适用场景表和可复用运行方法。
Artificial Analysis@ArtificialAnlys精选AI 评分6565推荐理由：Artificial Analysis 实测 Step 5 Preview 的得分、成本与智能体短板，读者可据此对比同分段模型的表现与性价比。
公众号：数字生命卡兹克精选AI 评分6767 TypeSafe AI 发布只做高频决策的大模型 Jev，作者实测其分类判断性价比
TypeSafe AI 推出专注高频决策的大模型 Jev，不做对话和文字生成，只输出判断，速度比传统大模型快20～200倍，成本0.042美元/百万Token且输出Token免费。作者实测预筛任务中Jev准确性第二且更便宜，在并行判断任务上达到最高准确率和最快速度；模型采用RLCD训练方法优化决策校准，可在官网 https://typesafe.ai/ 申请资格，Vercel 已首发接入。
推荐理由：作者用自己的预筛和并行判断任务实测了Jev与多个模型的准确率、速度和成本，读者可以据此判断这类只做决策的模型适合什么场景。
Hugging Face 社区博客精选AI 评分6161 Hugging Face 用 LoRA 与 Storage Bucket 在 HF Jobs 上跑异步 GRPO，免 NCCL 并提速 3.9 倍
Hugging Face 在 TRL v1.14 的 AsyncGRPOTrainer 中支持只训练和同步 LoRA adapter，配合 Storage Bucket 挂载与代理路由，让训练 Job 和 vLLM 推理 Job 在不同机器上运行而无需 NCCL。
推荐理由：Hugging Face 官方用五个实验展示了如何在 Jobs 上分离训练与推理跑异步 GRPO，并通过逐项定位瓶颈把运行提速 3.9 倍，方法可迁移。
公众号：数字生命卡兹克精选AI 评分7070 GPT-6 Astra推理等级怎么选才最省Token
卡兹克发文讲解GPT-6 Astra的推理强度等级（Reasoning Effort）含义，指出各档位是同一模型的不同思考预算，Ultra则类似拉起多个智能体协作的专项工作组。
推荐理由：作者基于烧完两个200刀会员的第一手使用体感，给出推理等级的通俗解释和分档位省Token的具体用法。
Cohere Labs：官方研究博客精选AI 评分6868 Cohere 详解 North Mini Code 的 megakernel 推理引擎，单 H100 上比 vLLM 快 1.25–1.41 倍
Cohere 发布为 North Mini Code 构建的围绕 decode megakernel 的推理引擎，BF16 下单张 H100 端到端解码吞吐比 vLLM 快 1.25–1.41 倍，batch size 1 时达 292 tok/s（SoL 的 62%），代码已在 GitHub 开放。
推荐理由：原文给出手写 decode megakernel 的完整实现细节与真实吞吐数据，读者可以了解如何把现有内核组装成单个持久内核并接入真实服务。
The Decoder：AI News精选AI 评分7878 GPT-6 Astra 基准表现分歧，ARC-AGI-3 效率超人类令 Chollet 提前 AGI 预测
GPT-6 Astra 的基准结论相互矛盾：Epoch AI 以 169 分将其排在 267 个模型之首，Artificial Analysis 给出 61 分，仅与前代 Sol 持平、落后 Claude Fable 5.1 的 66 分。
推荐理由：原文汇总多家基准分歧数据并梳理 ARC-AGI-3 效率细节，读者可以借此理解 GPT-6 Astra 各项成绩的真实含义。
NVIDIA Technical Blog：Agentic AI / Generative AI精选AI 评分6969 NVIDIA 讲解如何在 Jetson 上部署和优化推理模型
NVIDIA 发布教程，讲解在 Jetson 上部署新一代开放推理模型的方法，以 Nemotron 3.5 Lightning 和 Qwen3.8-27B 为例。
推荐理由：官方教程给出模型选型、NVFP4 量化与投机解码配置和实测吞吐数据，可迁移到自己的 Jetson 部署流程。
Artificial Analysis 完整文章精选AI 评分7575 Artificial Analysis 实测 Claude Fable 5.1 登顶智能指数但每任务成本高 20%
Artificial Analysis 评测 Claude Fable 5.1，其以 66 分登顶 Artificial Analysis Intelligence Index，超过 Claude Opus 5（63）、Fable 5（62）、GPT-5.6 Sol（61）和 Grok 4.6（61）。
推荐理由：Artificial Analysis 实测了 Claude Fable 5.1 的智能指数、各基准得分与每任务成本，读者可据此权衡其相对 Opus 5 和 GPT-5.6 的性价比。
公众号：数字生命卡兹克精选AI 评分7171 都Agent时代了，我还是想分享给你这12个我最常用的Prompt
作者整理出12个最常用的Prompt，按问清问题、学习、解决问题、决策、认识自己5个场景分类，全部可单独复制使用且无需安装任何Skill。每个Prompt都配有可直接套用的模板，将【】内内容替换为个人信息即可，适配当前所有主流AI。
推荐理由：这套提示词把提问、学习、决策等场景整理成带占位符与输出规范的模板，读者可逐条复制并按反馈规则调整，比单条散装提示更容易复用。
Together AI 研究与产品博客精选AI 评分7979 DeepSWE 实测：GLM-5.3 与 Claude Fable 5 在成本、编码与路由上的对比
Together AI 在 DeepSWE 全部 113 个任务、每任务 4 次试验（共 904 次 rollout）上对比 GLM-5.3 (max) 与 Claude Fable 5 (max)。
推荐理由：基于 904 次 rollout 的实测数据，给出两模型成本与准确率的量化对比，可帮助团队在两者间做出路由选择。
公众号：数字生命卡兹克精选AI 评分7171 一个实用的深度思考Prompt：用“双向钢人论证”让AI帮你挖出最本质的答案
作者基于Reddit上“让Claude真正开始思考”的帖子，引入逻辑学中的“钢人论证”（steelman）概念，并自创了一个“双向钢人Prompt”。该Prompt通过重述真实问题、强化正反双方观点、找出关键变量、逼AI给出明确判断四步，旨在避免模型谄媚，帮助用户找到问题最本质的答案。作者以自己选择公司司庆日的真实案例演示了使用效果。
推荐理由：这个 Prompt 把钢人论证做成可复制步骤，先重述问题、强化正反观点、再定位决定结论的变量，比直接要建议更能绕过模型顺意回答。
Together AI 研究与产品博客精选AI 评分7070 DeepSWE 实测：DeepSeek V4 Pro 0813 与 GPT-5.6 Sol 的成本、编码与级联路由对比
Together AI 在 DeepSWE 全部 113 个任务上各跑四次对比 DeepSeek V4 Pro 0813 与 GPT-5.6 Sol，共 904 次运行。
推荐理由：原文基于同一批 904 次运行数据拆解两模型的成本与失败模式，并给出可复用的级联路由方案，比单独跑分更有参考价值。
Simon Willison 博客精选AI 评分7373 Qwen 3.8 27B 表现出色，但默认推理强度过高导致过度思考
阿里 Qwen 实验室发布 Apache 2 许可的 27B 参数视觉大模型 Qwen 3.8 27B，官方基准显示其超越前代 Qwen 3.6 27B 及闭源 Qwen 3.7-Plus。
推荐理由：把 Qwen 3.8 27B 的推理档位成本量化成时间差异，xhigh 默认让生成同一 SVG 从 137 秒膨胀到 21 分钟，这个默认值比能力更影响本地选型。
OpenAI：官网动态精选AI 评分8080 GPT-5.6 构建者指南：如何以更低成本实现前沿智能体性能
GPT-5.6 模型家族以更低成本实现前沿级智能体性能，并新增推理持久化、原生多智能体编排和程序化工具调用等 API 能力。在 ARC-AGI-3 上，启用保留推理和压缩后，Sol 得分从 13.3% 跃升至 38.3%，且输出 token 减少约 6 倍。Luna 在 BrowseComp 上以 84.04% 的得分追平 GPT-5.5（84.36%），成本从 $33.27 降至 $1.33。
推荐理由：最实际的改变在 API 原语，让同一模型在 ARC-AGI-3 上用约六分之一输出 token 拿到近三倍分数，影响开发者对推理成本和上下文架构的判断。
Together AI 研究与产品博客精选AI 评分8282 Kimi K3 开发者完全指南：Together AI 上的 1M 上下文、推理档位与工具调用
Together AI 发布 Kimi K3 开发者指南。K3 是月之暗面（Moonshot AI）2.8 万亿参数的开放权重模型，首个 3 万亿参数级的开源模型，Together 直接与 Moonshot 团队合作提供服务。
推荐理由：指南给出 KDA、Stable LatentMoE 架构要点和 API 用法、缓存与计费细节，开发者可据此判断如何在 Together 上落地这个模型。
OpenAI：官网动态精选AI 评分6868 启用两项 API 设置使 GPT-5.6 在 ARC-AGI-3 基准测试得分提升三倍
OpenAI 通过启用两项 API 设置，使 GPT-5.6 在 ARC-AGI-3 基准测试上的得分提升至原来的三倍。这两项设置分别是保留推理过程（retaining reasoning）和启用压缩（compaction），在提升得分的同时也提高了效率。该发现基于 OpenAI 官方对 GPT-5.6 模型 API 参数的测试结果。
推荐理由：OpenAI 自己公布两个设置让 GPT-5.6 的 ARC-AGI-3 成绩翻三倍，对用 API 做推理任务的人是即用的技巧，不过目前只给了摘要，具体参数得等全文。