跳到正文
#多模态
5月29日周五
  1. StepFun64

    SGLang宣布其推理框架现已对阶跃星辰（StepFun AI）的新模型Step 3.7 Flash提供Day-0支持。该模型是一个专为高吞吐量智能体工作负载设计的198B稀疏MoE视觉语言模型，具备原生多模态感知能力。它在SimpleVQA评测中以79.2分排名第一，V*得分为95.3。在智能体工作流方面，它在ClawEval-1.1上以67.1分领先，展现出可靠的长期工具编排能力；在软件工程任务中，于SWE-Bench PRO上以56.3分位列第二。模型支持256K上下文，并提供3种推理级别以平衡速度、成本与深度。

    引用LMSYS Org@lmsysorg

    🎉 Meet Step 3.7 Flash from @StepFun_ai, a 198B sparse MoE vision-language model built for high-throughput agentic workloads. Day-0 support is now live in SGLang! > Native multimodal perception: #1 on SimpleVQA 79.2, V* at 95.3, turns UIs & charts into code > Workflow integrity: leads ClawEval-1.1 at 67.1, reliable long-horizon tool orchestration > Live engineering: 2nd on SWE-Bench PRO 56.3, traces repos, isolates bugs, ships patches > 256K context + 3 reasoning levels to balance speed, cost & depth Run it now with SGLang!

  2. StepFun79

    阶跃星辰发布了 Step-3.7-Flash 模型，vLLM 在模型发布当天即提供支持。该模型是一个 198B 参数的稀疏 MoE 视觉语言模型，每个 token 约有 11B 激活参数，支持原生图像与文本输入。其上下文窗口达到 256K，适用于长文档、多文件代码库及密集视觉界面。模型提供 FP8 和 NVFP4 量化权重版本，并内置 MTP 推测解码、原生工具调用及推理解析功能。

    引用vLLM@vllm_project

    🎉 Congrats to @StepFun_ai on releasing Step-3.7-Flash, with day-0 support in vLLM. - 198B sparse MoE vision-language model, ~11B active params per token, native image + text input - 256K context window for long docs, multi-file repos, and dense visual interfaces - FP8 and NVFP4 quantized weights ready to go built-in MTP speculative decoding, native tool calling, and reasoning parsing. Serve it now! 🔗 http://recipes.vllm.ai/stepfun-ai/Step-3.7-Flash

  3. StepFun75

    阶跃星辰（Step）发布了开源大模型 Step 3.7 Flash，主打智能体（Agent）工作流的效率。该模型在 ClawEval-1.1（67.1分）和 SimpleVQA Search（79.2分）评测中排名第一。其架构为 198B 参数的 MoE，约 11B 为活跃参数，支持 256K 上下文。模型具备多模态理解能力，能处理图像、文档并生成代码或调用工具执行任务。在工具使用方面，它致力于高可靠性，τ²-bench 得分超过 98%。Step 3.7 Flash 兼容 Claude Code、MCP 协议等工具链，并支持在 Mac Studio M4 Max 等设备上本地运行。模型权重以 Apache 2.0 许可开源。

  4. 公众号：阶跃星辰61

    阶跃发布 Step 3.7 Flash，面向生产级 Agent 的高效率 Flash 模型

    阶跃星辰发布并开源 Step 3.7 Flash，采用稀疏 MoE 架构（总参数 196B+1.8B，激活 11B），最高生成速度 400 Tokens/s。围绕原生多模态理解与执行、联网与视觉搜索增强、高可靠工具调用与编排、Agent 生态兼容优化四大能力优化。在 Toolathlon 达 49.5%，ClawEval-1.1 达 67.1%，GDPval 达 45.8%，τ²-bench Telecom 通过率超 98%。兼容 Claude Code、KiloCode 等主流架构及 MCP/Skills 协议，支持云端与本地部署，已在 Kilo Code 等生态中完成接入验证。

    推荐理由：Step 3.7 Flash 用激活仅 11B 的 MoE 架构把 Agent 工作流稳定性做透了，兼容主流框架还开源，对需要低延迟、高可靠性的生产环境 Agent 是真正可用的选择。

  6. Google AI41

    Google通过一部短片展示了如何利用AI工具将纸板、马克笔等简单物理材料“赋予生命”。该短片讲述了为Google I/O 2026舞台做准备的一群TPU的故事，创作中融合了木偶戏与3D动画。核心工具包括：Nano Banana（从原始木偶镜头和基础3D动画生成风格化首帧）、Google AI Studio（构建定制工具以大规模测试帧并确保一致性）、以及Gemini Omni和Google DeepMind的实验性模型（合并基础动画与风格化帧，提升至电影级画面）。整个AI流水线的设计旨在保护那些体现手工艺温度的细微细节，例如木偶戏的细微不完美感。

  7. SenseTime65

    SenseNova-U1-8B-MoT-Infographic 是一个升级后的8B参数信息图表生成模型。其核心提升在于：增强了文本的准确性与可读性，减少了重复和不自然的放大；改进了布局的一致性与合理性，背景更稳定；提升了图表与示意图的渲染质量；并新增了学术内容的渲染支持。

    推荐理由：商汤这个8B信息图生成模型升级了，文本和布局都更稳，对常做数据图表和学术配图的人算个实用的小迭代，没有到改变游戏规则的程度。

  10. LMSYS Blog61

    LMSYS与Intel合作通过异构CPU+GPU EPD架构提升视觉语言模型服务性能

    LMSYS团队（Intel与SGLang）通过Dynamo和SGLang框架，为视觉语言模型（VLM）启用了异构编码-预填充-解耦（EPD）架构。该方案将视觉编码任务从GPU卸载至CPU（如Intel Xeon 6747P），与GPU协同工作。在Qwen3-VL-8B-Instruct模型的测试中，采用4 CPU + 1 GPU作为编码器、4 GPU作为预填充解码器（能力比R=12）的配置，在ISL/OSL 128/256、1080p 8张图像的负载下，实现了P99 TTFT和请求吞吐量约1.2倍至1.3倍的提升，并将P99 TPOT降低了约1.3倍至30倍。

    推荐理由：做VLM服务部署的可以认真看一下，用CPU头节点做异构EPD分离，几乎零成本换来了TTFT和TPOT的显著提升，有完整脚本和benchmark，能直接上手试。

5月28日周四
  1. Xiaomi MiMo69

    MiMo-V2.5现已在OpenCode上线——限时免费。🎉 [引用 @opencode]：OpenCode x MiMo V2.5 - 限时免费 1M上下文 • 推理 • 文本 • 图像

    引用OpenCode@opencode

    OpenCode x MiMo V2.5 - 限时免费 1M 上下文 • 推理 • 文本 • 图像

    推荐理由：MiMo-V2.5在OpenCode免费开放，1M上下文加多模态推理，小米的模型迭代不算大新闻，但趁免费白嫖一下国产模型的机会别错过。如果你正在选型，跑个分试试。

  2. IT之家·人工智能60

    消息称微软下周将推全新编程模型，以争取开发者群体认可

    微软计划在下周Build大会发布多款自研AI模型，旨在争取开发者认可。其中将包含一款编程专用模型，以提升GitHub Copilot的竞争力，应对Cursor与Claude Code等对手的挑战。同时，微软还将推出多款不同规格的新模型，具备语音转写、逻辑推理、语音处理及图像生成等技能。

  3. Rohan Paul61

    Reactor公司宣布推出实时世界模型（World Models）基础设施层，并完成了由Lightspeed领投的5900万美元种子轮与A轮融资。其核心突破是将视频生成从被动预渲染转变为根据用户行动和语音实时生成的像素流。开发者只需使用几行ReactSDK代码，即可将前沿世界模型的实时像素流集成到产品中，应用于游戏、创意工具、模拟、机器人及叙事等领域。公司核心团队成员来自Apple、Meta、Google等多家公司，目前已有众多合作伙伴与开发者在使用其平台。

    引用reactor@reactorworld

    Today, we’re coming out of stealth with $59M in seed and Series A funding, led by Lightspeed, with Amplify Partners, WndrCo, Sky9, FPV, and incredible angels. For a long time, pixels have been pre-rendered and played back passively. World Models change that entirely: pixels are generated on the fly, in real time, in response to what you're doing. Every time computing has made a shift from passive to interactive, entire industries appeared that didn't exist before. We're standing in front of such moment again. Reactor is the platform for building in the World Model era: the infrastructure that lets any developer build with World Models at global scale. With only a few lines of code, and you're streaming pixels from a frontier World Model into your product, in real time, at massively. Over the last 6 months, we’ve assembled an all-star team from Apple, Meta, Google, Luma AI, Netflix, and Replicate. We're already partnering with some of the biggest companies in the world, and hundreds of developers are already building on Reactor today.

  5. IT之家·人工智能51

    汽车变成“超级秘书”：比亚迪发布超级智能体“迪迪虾”

    比亚迪发布超级智能体“迪迪虾”，基于整车智能体系打造，实现全仓记忆、跨域互动、端云协同与快慢思考。该智能体具备自然人机交互、主动服务和复杂任务处理能力，支持多轮对话、用户偏好记忆与模糊指令理解。演示中，系统展示了自动调节空调、识别儿童入睡状态、处理包含导航与补能的复杂指令链路等功能，并接入生活服务。比亚迪同步将开放车机生态升级为面向 AI Agent 的“智能体生态”。

  6. 公众号：京东JoyAI51

    听见京东 618：大模型时代下的声音供应链

    京东自研JoyAI语音大模型LiveTTS具备多语种、情绪解耦、语速解耦、捏声音色及一句话音色克隆（3—10秒语音）五大能力，已接入JoyClaw技能商店。覆盖10余种语言和8种方言，支持同一音色多方言与情绪表达。应用于JoyInside智能终端、JoyAI App万能博士、数字人JoyStreamer（累计服务超7万商家）及AI播客。618期间支撑千万级并发实时交互，为智能客服、数字人直播等场景提供低延迟语音输出。

  8. 公众号：龙猫LongCat44

    美团&顶会论文分享 | 5大专场，32篇论文解读

    2026年，美团数十篇论文被ACL、SIGIR、ICML、KDD等顶会收录，精选32篇分为5大专场进行直播解读。内容涵盖大模型推理、智能体记忆与自进化、代码智能、多模态交互、超高清视频生成、本地生活搜索等方向，既有底层能力突破也有生活服务落地探索。活动自6月11日起陆续直播，可报名参与。

  9. 公众号：通义实验室54

    通义实验室发布Qwen-Image-Bench：56项细粒度创作评测基准

    通义实验室推出文生图评测基准Qwen-Image-Bench，由专业艺术家团队开发，将创作能力解构为5大核心支柱、17大场景及56项可量化维度。配套开源自动化评估模型Q-Judger，与资深人类艺术家评估相关性达Spearsman 0.92。评测使用1000条中英文分层Prompt，每条覆盖至少4项考点。结果显示，当前T2I模型在文字准确性、信息可视化、跨语言生成等子领域差距明显，世界知识与逻辑推理能力是跻身第一梯队的分水岭。完整数据集与Q-Judger已开源。

  16. Rohan Paul57

    一位用户展示了一款从AliExpress购买的廉价MP3播放器，它存在蓝牙音频卡顿和菜单操作不便的问题。用户将设备芯片的照片提供给OpenAI的Codex进行分析。Codex随后引导用户通过Mac设备提取了播放器的完整固件文件。Codex分析了该固件的机器代码，定位到导致问题的具体代码段，并生成了一个修复了蓝牙问题并优化了菜单导航的定制固件。用户将此固件刷写回设备后，问题得到解决。此案例具体体现了AI工具在处理底层硬件调试与定制化开发任务中的潜力。

    引用ぶんかい@AIで遊ぶ人@bunkaich

    ぼくの着想の限界＝Codexの限界。 それくらいまーじでCodexでなんでもできる。 これアリエクで買ったやっすいMP3プレイヤー。 でもBluetoothの音飛びと操作性が悪くて放置してたんですよ。 だけど昨日急にシャワーしている時にエウレカして、　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 殻わりしてチップをCodexに見せたら見事に調査はじめて、 案内された通りにMacに接続しておいたら、今度はOSを吸い上げてバイナリを解析して該当しそうなところを書き換えたカスタムOS作ってくれていて、 最後に案内されていたコマンドを実行したら書き込みが始まって、 結果 解決してしまったのよ・・・ Bluetoothの音飛びはなくなっていて、 動画わかりにくいんですが、元々←→ボタンでメニュー移動だったのを上下ボタンで選択できる直感的な操作に変えてくれています。（最初からそうして・・・笑） なんだろこの感覚、みなさんにこれで感動伝わりますかね？・・・やばいす、ほんとに・・・

5月27日周三
  4. IT之家·人工智能54

    【IT之家实拍】雷鸟 GT Max 智能眼镜图赏：突破光学痛点，把 267 吋巨幕戴在头上

    雷鸟推出两款AR眼镜：主打观影的GT Max采用孔雀光引擎3.0 Max与PWG光学结构，搭载视涯5.5代Micro-OLED双层面板，提供267英寸巨幕体验与1200nits峰值亮度，售价2599元（国补后2209元）。另一款AI拍摄眼镜V4仅重38g，具备IP67防水，首发OG09B方形传感器，支持2.5K画质与11.5小时续航，售价2199元（国补后1869元）。

  5. Runway：News73

    Runway 推出 Model Context Protocol 服务器

    Runway 正式推出 Runway MCP 服务器，允许任何兼容 MCP 的 AI 智能体（如 Claude、ChatGPT、Cursor）在对话界面中直接生成图像与视频，无需切换工作流。该服务器接入了 Runway 最新的多款 SOTA 模型，包括 Gen-4.5、Seedance 2.0、GPT Image 2、Kling 3.0 及 Nano Banana Pro。其应用场景涵盖为产品制作营销视频、批量生成网站视觉素材、创作角色广告以及在应用开发中集成视觉内容。用户设置简便，通过 runwayml.com/mcp 添加服务器并登录现有 Runway 账户即可使用，无需单独申请 API 密钥。

    推荐理由：Runway 把 Gen-4.5 和 Seedance 2.0 等模型接入了 MCP，以后做产品图、营销视频不用切窗口，这个集成对依赖视觉内容的 Agent 工作流是个 real upgrade。

  6. IT之家·人工智能52

    雷鸟V4 AI拍摄眼镜发布：首发方形传感器，售价2199元起

    雷鸟创新发布雷鸟V4 AI拍摄眼镜，标准版售价2199元，国补后1869元起，5月30日交付。该机型聚焦AI响应速度优化，采用高通骁龙AR1与恒玄BES2800BP双芯架构，引入通义千问模型，AI最快响应0.2秒，较上一代提升超138%。电池容量提升57%，连续视频录制可达约47分钟。影像方面，首次搭载1/2.9英寸、1:1方形传感器OG09B，单像素尺寸2.09微米。防护等级提升至IP67，整机重量约38克。

  7. IT之家·人工智能50

    索尼 PlayStation 新专利曝光：AI 赋能 NPC 实现拟人化交互

    索尼 PlayStation 提交了一项新专利，旨在通过人工智能赋予游戏中的非玩家角色（NPC）拟人化的交互能力。该专利描述了通过麦克风和摄像头捕捉玩家情绪与神态，进而让 NPC 模仿玩家行为与情绪反应的技术方案。此外，专利还提出可利用游戏主播等数据训练 NPC，以复刻特定人物性格。此举是索尼打造高度拟人化 NPC、提升玩家沉浸感的一次尝试，目前英伟达等公司也在进行类似技术研发。

  8. Saining Xie69

    推文介绍了Cambrian-P，这是一个原生集成相机位姿的多模态大语言模型。其核心观点是，相机位姿是一种易于获取且足以支撑鲁棒视频理解的最小3D信号。通过联合建模视频帧与位姿，模型能将图像序列转化为全局结构化的表示。引用推文指出，当前多模态大语言模型在识别视频活动方面表现优异，但对视频中的空间结构及自主体/物体动态的理解仍然不足，而相机位姿信息是弥补这一差距的关键缺失环节。

    引用Jihan Yang@jihanyang13

    Camera pose matters for video understanding! Today's MLLMs excel at recognizing activities, but still struggle with the underlying space and ego/object dynamics in video. We trace this gap to a missing piece: camera pose. Introducing Cambrian-P: a multimodal LLM natively grounded in camera pose. (1/n)

  9. MarkTechPost61

    Stability AI 发布 Stable Audio 3：用于音频生成与编辑的快速潜在扩散模型家族

    Stability AI 发布了 Stable Audio 3，这是一个用于器乐和音效生成的潜在扩散模型家族。此次发布包含 Small 和 Medium 两个开放权重变体。Small 变体可在 MacBook Pro M4 CPU 上运行，Medium 变体适配 8GB 显存的消费级显卡。两者均采用流匹配、蒸馏预热和对抗后训练的三阶段流水线，以生成 44.1 kHz 的立体声音频。在 BBC Sound Effects 基准测试（5秒片段）中，SA3 Medium 的 FAD 得分为 0.369，优于论文中评估的所有开放权重基线。

5月26日周二
  1. SenseTime77

    商汤开源了SenseNova-U1（8B dense + A3B MoE）的完整训练代码库。这是一个统一的框架，支持文本到图像、图像编辑、交错生成、文本与视觉理解等多种多模态任务的训练。其设计注重实用性与大规模训练，采用混合并行、流式可恢复数据管道、环境变量配置、解耦模块化设计，并支持从1×8 GPU扩展到多节点集群的规模。代码库以Apache-2.0协议开源。

    推荐理由：商汤把 SenseNova-U1 的训练代码全量开源，支持多模态任务和 MoE，还给了完整的并行策略，做多模态训练的可以直接 fork 过去用，Apache-2.0 很友好。

  2. SenseTime70

    OpenSenseNova开源了SenseNova-U1的完整训练代码库，支持其8B密集模型与A3B MoE架构。该代码库使用一个统一的框架，可同时训练多种多模态任务，包括文本到图像生成、图像编辑、交错生成及文本与视觉理解。工程上为大规模训练设计，支持混合并行、流式可恢复数据管线、环境变量驱动配置以及从1×8 GPUs到多节点集群的扩展能力。代码已在GitHub开源，采用Apache-2.0协议。