跳到正文
#推理
5月30日周六
  1. 公众号：小米 MiMo59

    MiMo-V2.5 系列推理全链路优化：将 Hybrid SWA 效率推向极致

    小米发布 MiMo-V2.5 系列模型（含 MiMo-V2.5、MiMo-V2.5-Pro），采用 Hybrid Sliding Window Attention（Hybrid SWA）架构，KVCache 存储与计算量均降至 Full Attention 的约 1/7。以 MiMo-V2.5-Pro 为例，70 层中仅 10 层为 Full Attention，60 层为 SWA（窗口大小 128）。团队围绕 KVCache 系统重构（双池管理、按层异步拉取、SWA-aware 前缀缓存树）及分布式缓存 GCache 等环节优化，使存储效率提升约 7×，显著降低长上下文推理成本。

  2. Rohan Paul63

    路透社报道称，字节跳动正开发自研数据中心CPU芯片，以支持TikTok规模的AI智能体运行。此举受Groq的“语言处理单元”启发，旨在应对当前服务器处理器短缺问题。公司正在测试Arm和RISC-V两种架构，以比较成熟商业设计与可控开放指令集。由于CPU价格季度性上涨10%-35%且供应链延迟，开发自研芯片已成为一项成本与供应链策略，旨在减少对受限外国AI硬件的依赖并降低单次查询推理成本。AI智能体的推理对CPU依赖远大于传统模型，因单个用户请求可能触发多个步骤。据报道，字节跳动可能依赖外部合作伙伴进行芯片设计与制造。

  3. IT之家·人工智能48

    新一代全域智能操作系统麒麟 100 正式发布：打通移动与桌面生态，支持双系统无感切换

    麒麟软件在天津2026世界智能产业博览会上发布了麒麟100智联操作系统。该系统采用自主可信内核与轻量级虚拟化技术，通过“平行视界”等模式，深度打通移动与桌面生态，支持双系统并行运行与无感切换，实现数据互通。系统全面适配智能手机、平板、笔记本等多类终端，实现无线互联与“一机双屏双系统”协同。安全方面构建了涵盖全栈国密、分层隔离与可信子系统的三重防护体系。智能化方面，系统深度优化端侧AI引擎，支持大模型智能路由调度与多智能体协同推理。

  4. Rohan Paul64

    本期简报要点如下：Anthropic发布了Claude Opus 4.8模型，并宣布完成650亿美元融资，投后估值达到9650亿美元。KogAI展示了其在特定硬件上的性能：使用8块AMD MI300X GPU时处理速度达3000 tokens/s，使用8块NVIDIA H200 GPU时达2100 tokens/s（FP16精度，无推测解码），模型参数为20亿。此外，Datacurve推出了更具挑战性的编程基准测试DeepSWE，旨在更清晰地评估顶尖模型的性能差异。

  5. Rohan Paul56

    陶哲轩指出，研究过程中存在大量“认知摩擦”——例如验证想法、排除错误路径、将直觉转化为计算等试错环节，占据了主要时间。AI正在将这些摩擦成本降至零，使研究者能更自由地尝试“更疯狂的想法”。推文强调，许多非常规路径并非被证伪，而是被高昂的验证成本所阻碍。AI降低这一成本，让原本因“不便”而被放弃的弱信号得以被审视，这往往是发现的起点。

    引用OpenAI@OpenAI

    AI can give researchers the freedom to pursue “crazier” ideas. For Terence Tao, AI creates more room to experiment, test unexpected paths, and discover what might otherwise stay out of reach.

  8. OpenRouter：Announcements77

    OpenRouter融合预算模型性能超越GPT-5.5与Claude Opus 4.7

    一组预算模型通过OpenRouter平台进行模型融合，在包含100个复杂研究任务的评估中，得分超过了GPT-5.5与Claude Opus 4.7。

    推荐理由：OpenRouter 的 Fusion 功能把模型融合做成了 API 调用，实测用便宜模型组合就能逼近 Fable 5 的性能，成本却只有一半，这对做复杂推理和深度研究的开发者来说是个很实用的新工具。

  10. Rohan Paul76

    Kog团队在标准数据中心GPU上实现了极高的单用户推理速度，在8× AMD MI300X GPUs上达到3,000 tokens/s，在8× NVIDIA H200上达到2,100 tokens/s。相比常规推理速度（约100-300 tokens/s），实现了10-30倍提升。其核心思路是将LLM解码视为内存流问题，通过协同设计monokernel、重建同步机制、针对性内存访问映射及采用延迟张量并行的Laneformer模型架构，消除了传统流程的阻塞点。

    推荐理由：Rohan亲自测完Kog AI的3000 token/s，把单用户推理速度拉高了10-30倍，这套monokernel设计可能改写低延迟推理的玩法，做实时AI产品的团队必须盯紧。

5月29日周五
  1. X.PIN65

    由于美国出口管制，华为在芯片先进制程竞赛中面临困难。为此，华为于2026年5月提出“τ（Tau）定律”，旨在为后摩尔时代的芯片性能提升提供新框架。该定律的核心是优化有效RC时间常数（τ）以提升信号传播速度。其方法是不完全依赖制程微缩，而是从晶体管、电路、芯片互连及系统架构四个层次进行优化，以压缩τ值。华为将其描述为中国公司首次提出具有全球影响力的后摩尔扩展框架。

  2. Rohan Paul52

    这是一场关于AI架构的辩论。Transformer阵营指出，其凭借简单、硬件友好、可扩展的优势主导当下，核心是基于键值存储的记忆与注意力机制，并强调任何替代架构必须能在扩展性上与之匹敌，且需达到约10倍优势才能颠覆现有技术栈。Post-Transformer阵营则认为，当前大语言模型的推理更像是后置的文本步骤，真正的突破在于实现模型内部的“潜在推理”与持续学习能力，并指出长上下文不等于真正记忆，未来可能是混合架构。辩论还提到，当前公开基准测试易被优化，而困惑度（Perplexity）仍是评估前沿模型的有效指标。最后指出，尽管Transformer仍占主导，但前沿正在拓宽，并列举了Pathway的BDH、Sakana AI的CTMs和Liquid AI的LFMs等新兴架构作为例证。

  4. Rohan Paul57

    论文提出了“效率前沿”框架，用于统一评估LLM上下文管理策略的成本与性能权衡。核心发现是，在部署时选择合适的上下文方法可使token使用量减少约25%，在部分记忆复用场景下可降低超50%成本，且答案质量损失较小。研究指出，上下文长度存在收益递减，后增加的token成本高但收益小。在5000个HotpotQA问题的测试中，轻量检索适合低复用率，记忆压缩在高复用率下更优，而全上下文提示仍是获取最高性能所需。

  5. IT之家·人工智能50

    戴尔确认将推出搭载 NVIDIA "N1X" 芯片的 XPS 机型

    根据戴尔的 COMPUTEX 2026 资料，其即将发布搭载 NVIDIA "N1X" 芯片的 XPS 机型，相关内容预计于北京时间 6 月 1 日 11:00 解禁。联想近期也有搭载 "N1X" 的 YOGA 360 16 笔记本通过 3C 认证，这共同指向 NVIDIA 将在 COMPUTEX 2026 上正式发布这款 SoC。泄露信息显示，"N1X" 与 DGX Spark 上的 GB10 超级芯片同源，预计采用 20 核 Arm CPU 和 6144 CUDA GPU，并支持 256-bit LPDDR5x 内存。

  6. Rohan Paul66

    Claude Opus 4.8发布快速模式，速度提升至2.5倍，价格变为原来的三分之一。该模型在代码质量上相比4.7版本有显著改进，代码缺陷概率降低约4倍。标准API价格为输入$5/百万token，输出$25/百万token。AI/ML API平台已第一时间集成此模型，提供500+模型的统一API接口，并为部分用户推出限时免费体验活动。

    引用AI/ML API@aimlapi

    Claude Opus 4.8 is LIVE on AIMLAPI - Hour 0 availability! ~4x less likely to let code flaws slip through vs 4.7 Fast mode 2.5x speed, now 3x cheaper Same price: $5/$25 per M tokens To celebrate, it's FREE for selected commentators

  7. StepFun79

    阶跃星辰发布了 Step-3.7-Flash 模型，vLLM 在模型发布当天即提供支持。该模型是一个 198B 参数的稀疏 MoE 视觉语言模型，每个 token 约有 11B 激活参数，支持原生图像与文本输入。其上下文窗口达到 256K，适用于长文档、多文件代码库及密集视觉界面。模型提供 FP8 和 NVFP4 量化权重版本，并内置 MTP 推测解码、原生工具调用及推理解析功能。

    引用vLLM@vllm_project

    🎉 Congrats to @StepFun_ai on releasing Step-3.7-Flash, with day-0 support in vLLM. - 198B sparse MoE vision-language model, ~11B active params per token, native image + text input - 256K context window for long docs, multi-file repos, and dense visual interfaces - FP8 and NVFP4 quantized weights ready to go built-in MTP speculative decoding, native tool calling, and reasoning parsing. Serve it now! 🔗 http://recipes.vllm.ai/stepfun-ai/Step-3.7-Flash

  8. StepFun75

    阶跃星辰（Step）发布了开源大模型 Step 3.7 Flash，主打智能体（Agent）工作流的效率。该模型在 ClawEval-1.1（67.1分）和 SimpleVQA Search（79.2分）评测中排名第一。其架构为 198B 参数的 MoE，约 11B 为活跃参数，支持 256K 上下文。模型具备多模态理解能力，能处理图像、文档并生成代码或调用工具执行任务。在工具使用方面，它致力于高可靠性，τ²-bench 得分超过 98%。Step 3.7 Flash 兼容 Claude Code、MCP 协议等工具链，并支持在 Mac Studio M4 Max 等设备上本地运行。模型权重以 Apache 2.0 许可开源。

  9. Rohan Paul64

    Kog AI 在标准数据中心 GPU 上实现了惊人的推理速度：在 8× AMD MI300X 上达到 3,000 tokens/s，在 8× NVIDIA H200 上达到 2,100 tokens/s（FP16，无推测解码），而常规速度通常为 100-300 tokens/s。其技术核心是将大语言模型解码视为内存流问题，通过将整个 token 生成循环置于单一持久 GPU 程序内、优化内存访问拓扑以降低跨芯片延迟、并采用延迟张量并行技术来大幅减少开销。Kog 今日开放技术预览，提供 2B 编码模型，并计划后续支持大型前沿 MoE。

    引用Kog@Kog__AI

    🚀 Launch today: Kog generates 3,000+ output tokens/s per single request, on standard datacenter GPUs. We are bringing real-time LLM inference to hardware that companies already run in production. The speed previously associated with purpose-built silicon is now delivered on NVIDIA H200 and AMD MI300X. Today, we are opening our Tech Preview with a 2B coding model, with large frontier MoE support coming next. Try our Playground → http://playground.kog.ai 💥 Why that matters, and how we did it → http://blog.kog.ai/real-time-llm-inference-on-standard-gpus-3-000-tokens-s-per-request 📖 Monokernel deep dive → http://blog.kog.ai/building-a-single-kernel-latency-optimized-llm-inference-engine-on-amd-mi300x-gpus 📖 Delayed Tensor Parallelism research → http://blog.kog.ai/delayed-tensor-parallelism-for-faster-transformer-inference read the thread 👇

  10. Artificial Analysis79

    Anthropic发布Claude Opus 4.8，在Artificial Analysis智能指数上以61.4分超越GPT-5.5（xhigh）1.2分，重新登顶。该模型在真实世界智能体任务和前沿学术推理上均有提升，在主要智能体评测GDPval-AA上以1890 Elo分取得约67%的胜率。在科学推理方面，Claude首次在Humanity's Last Exam基准上领先OpenAI和Google。其模型幻觉率维持在35.9%，显著低于竞品。上下文窗口仍为100万token，定价为输入$5、输出$25每百万token。

  12. Google Research：Blog79

    创新时代：Google Research 在 I/O 2026

    Google Research 在 I/O 2026 大会上展示了其在多个前沿领域的技术进展，包括应用AI、基础机器学习算法以及量子AI等。本次大会的核心主题是展示其在将科学发现与研究成果转化为现实世界影响方面的持续努力。

    推荐理由：Google 把研究成果直接发 Nature，ERA 和 Co-Scientist 这套工具让 AI 从写诗进化到做实验，健康 AI 的临床验证数据也很扎实，搞科研的可以蹲一下访问资格。

  13. Rohan Paul62

    The Grid AI 提出了一种新的AI推理购买模式。用户不再指定具体模型，而是根据任务复杂度选择标准（standard）、生产（prime）或极致（max）三个级别之一。平台会自动将请求路由到满足该级别要求的最便宜供应商。应用仅需接入单一API，后端模型可根据价格与质量动态变化，从而优化成本。作者曾用Hermes Agent在本地测试，通过agent-price级别处理了工单分类工作流。The Grid目前处于Beta阶段，声称通过供应商竞价可使AI API成本降低最高80%，并为新用户提供首200M tokens免费额度。

    引用The Grid@The_GridAI

    The Grid’s Beta is LIVE! We can get your AI API costs down by up to 80% by making suppliers compete for your requests. Your first 200M tokens are on us, start building → http://app.thegrid.ai/sign-up

  18. TechCrunch：AI72

    Anthropic 发布 Opus 4.8 并推出新型“动态工作流”工具

    Anthropic 发布了最新的 Opus 4.8 大语言模型，并为该模型引入了一个名为“Dynamic Workflows”的新工具。该工具旨在协调由多个子代理组成的群组，以执行复杂任务。

    推荐理由：Opus 4.8 是 Anthropic 对 Opus 4.7 失望反应的快速回应，亮点不在跑分而在模型能主动标记不确定性，这比正确率更实用。动态工作流让跨子 agent 的代码迁移成为现实，开发团队值得关注。

  20. Anthropic：Newsroom85

    Claude Opus 4.8 发布：在编码、智能体技能与推理方面实现全面升级

    Anthropic 发布了新一代模型 Claude Opus 4.8，作为 Opus 4.7 的升级版本，其在编码、智能体技能、推理和实用知识工作等各项基准测试中均取得进步。Claude Opus 4.8 现已可用，价格与前代相同。同步推出的新功能包括：用户可控制任务投入程度、Claude Code 新增“动态工作流”特性，以及 Opus 4.8 的 2.5 倍速模式价格降低为以往的三分之一。早期测试者反馈其在智能体任务中的判断力更可靠、工具调用更高效。该模型在 Online-Mind2Web 测评中得分 84%，超越了 Opus 4.7 和 GPT-5.5。此外，其诚实度与对齐表现也得到提升，代码错误漏检率降低了约 75%。

    推荐理由：Opus 4.8看着是常规升级，但动态工作流让Claude Code能啃下跨十万行代码迁移这种硬骨头，快速模式降价三倍更是直接拉低了实时场景的入场券。

  21. LMSYS Blog69

    SGLang 团队与 AMD 合作，使 AMD Instinct™ MI355X GPU 的大规模 DeepSeek-R1 分离式推理在总拥有成本上具备竞争力

    SGLang 与 AMD 团队合作，通过一系列全栈优化，使 AMD Instinct™ MI355X GPU 在运行 DeepSeek-R1 大模型推理时实现了极具竞争力的总拥有成本。在 129 tok/s/user 的交互延迟下，其成本为每百万 token $0.169，比 NVIDIA B200（Dynamo TRT-LLM）方案低 5%，比 B200（SGLang）方案低 40%。吞吐量方面，24 块 AMD GPU 达到 2,436 tok/s/GPU，比使用 48 块 GPU 的 B200 SGLang 方案每 GPU 吞吐量高 1.25 倍。核心优化包括：MoRI 混合 FP4/FP8 量化全到全通信、MoRI-IO KV Cache 后端、两批重叠与 SDMA、ROCm 上的 Specv2 MTP 以及 CPU 流式处理优化。

    推荐理由：AMD MI355X跑DeepSeek-R1的TCO比NVIDIA B200低5%，吞吐还高出1.25倍，这是开源框架SGLang对闭源生态的一次真实挑战，做推理部署的应该点开看看完整的全栈优化。

  23. LMSYS Blog61

    LMSYS与Intel合作通过异构CPU+GPU EPD架构提升视觉语言模型服务性能

    LMSYS团队（Intel与SGLang）通过Dynamo和SGLang框架，为视觉语言模型（VLM）启用了异构编码-预填充-解耦（EPD）架构。该方案将视觉编码任务从GPU卸载至CPU（如Intel Xeon 6747P），与GPU协同工作。在Qwen3-VL-8B-Instruct模型的测试中，采用4 CPU + 1 GPU作为编码器、4 GPU作为预填充解码器（能力比R=12）的配置，在ISL/OSL 128/256、1080p 8张图像的负载下，实现了P99 TTFT和请求吞吐量约1.2倍至1.3倍的提升，并将P99 TPOT降低了约1.3倍至30倍。

    推荐理由：做VLM服务部署的可以认真看一下，用CPU头节点做异构EPD分离，几乎零成本换来了TTFT和TPOT的显著提升，有完整脚本和benchmark，能直接上手试。

5月28日周四
  1. Xiaomi MiMo69

    MiMo-V2.5现已在OpenCode上线——限时免费。🎉 [引用 @opencode]：OpenCode x MiMo V2.5 - 限时免费 1M上下文 • 推理 • 文本 • 图像

    引用OpenCode@opencode

    OpenCode x MiMo V2.5 - 限时免费 1M 上下文 • 推理 • 文本 • 图像

    推荐理由：MiMo-V2.5在OpenCode免费开放，1M上下文加多模态推理，小米的模型迭代不算大新闻，但趁免费白嫖一下国产模型的机会别错过。如果你正在选型，跑个分试试。

  4. Rohan Paul59

    NVIDIA发布Vera CPU基准测试报告。Vera采用Armv9.2架构，在Phoronix测试中，其整体性能比128核x86 CPU高1.5倍，比前代Grace CPU提升1.6倍（几何平均）。其每核心内存带宽是传统x86 CPU的4倍以上，使用LPDDR5X实现1.2TB/s带宽，内存功耗低于30W。该报告旨在表明NVIDIA的Arm架构CPU性能已超越Intel和AMD的x86服务器CPU，并强调在智能体AI场景下，因涉及工具调用、文件读写、代码生成等复杂任务，CPU侧工作负载变得更重。

  5. 公众号：龙猫LongCat44

    美团&顶会论文分享 | 5大专场，32篇论文解读

    2026年，美团数十篇论文被ACL、SIGIR、ICML、KDD等顶会收录，精选32篇分为5大专场进行直播解读。内容涵盖大模型推理、智能体记忆与自进化、代码智能、多模态交互、超高清视频生成、本地生活搜索等方向，既有底层能力突破也有生活服务落地探索。活动自6月11日起陆续直播，可报名参与。

  7. IT之家·人工智能63

    消息称字节跳动正开发自有 CPU，以支持 AI 基础设施扩张

    字节跳动因芯片价格上涨与供应短缺，正开发自有CPU以支持AI基础设施扩张，特别是推理阶段需求。公司计划将自研芯片部署在自有服务器和数据中心，并准备推出Coze等智能体产品。目前同时推进基于Arm和RISC-V的两套架构路线，正接触外部合作伙伴参与设计与产能争取，项目仍处于早期阶段。此前字节跳动从英特尔和AMD采购的CPU已面临10%至35%的涨价。