跳到正文
#多模态
6月5日周五
  1. Google AI Developers70

    Google AI for Developers 宣布推出开放权重的实时音乐模型 Magenta RealTime 2 (MRT2)。该模型可通过 MIDI 键盘、实时文本提示甚至手势进行演奏。MRT2 在 MacBook 上原生运行，延迟低于 200ms，提供开放权重、开源推理引擎以及配套应用和插件套件。

    引用Google Magenta Project@GoogleMagenta

    介绍 Magenta RealTime 2 (MRT2)：你可以像演奏乐器一样演奏的实时音乐模型。 MRT2 提供 MIDI 和提示控制，并可在 MacBook 上原生运行，延迟低于 200ms。 开放权重。开源推理引擎。一整套应用和插件。 在下方听听它能做什么，并亲自试一试 🧵

    推荐理由：Magenta RealTime 2 把音乐生成从「后期制作」拉到了「实时演奏」，开放权重且延迟低于 200ms，音乐创作者值得立刻上手试试。

6月4日周四
  2. SiliconFlow72

    neolab 推出 Nex-N2-Pro，基于 Qwen3.5-397B-A17B，总参数 397B 的 MoE 推理模型，支持 262K 上下文与多模态（VLM），性能达到 GPT-5.5 和 Claude Opus 4.7 级别。模型可自动调节推理深度，减少 30-50% 思考 token 且无性能折损，在 Terminal Bench 2.1、GDPVal、SWE-Verified 上取得 SOTA。擅长智能体编码、深度搜索和工具使用，兼容 Claude Code、Cursor 等工具。硅基流动已提供 T+0 支持，前两周免费使用。

    推荐理由：后训练模型能直追 GPT-5.5 和 Claude 4.7，免费两周，对做 agent 和 deep search 的人来说是难得的低成本试错机会。

  3. SenseTime69

    商汤 SenseTime 推出 SenseNova U1 开源多模态模型，实现原生理解与生成文本和图像，可一键将提示词转化为专业信息图。该模型被开发者 @gurru_tech 评价为“非常令人印象深刻”。项目已开源，提供 SenseNova Studio 在线试用，并公开 HuggingFace 模型集合、GitHub 源码仓库及 Discord 社区入口。

    推荐理由：商汤这回把图文统一模型开源了，SenseNova U1的infographic功能比市面上大多数文生图工具更懂文字和布局，做内容的朋友可以上手试试。

  4. Rohan Paul58

    李飞飞（Fei-Fei Li）指出，大语言模型（LLM）仅学习文本模式，能描述房间但无法理解椅子移动、玻璃破碎、阳光变化或机器人推杯子等物理变化。世界模型则试图学习视觉背后隐藏的结构，能预测相机未捕捉的视角、建模物体行为、支持真实或虚拟环境中行动的智能体。理解新视角、预测推动结果、决定下一步行动，都需要一个共同的内在模型，涵盖空间、因果与后果。

    引用Fei-Fei Li@drfeifei

    http://x.com/i/article/2062244283940544512

  5. StepFun77

    阶跃星辰的 Step 3.7 Flash 已上架 Fireworks AI。该模型为 198B 稀疏 MoE 多模态大模型（VLM），含 196B 语言骨干和 1.8B 视觉编码器，从设计之初优化推理效率，采用硬件友好架构与 MTP 辅助解码，速度达 400 tokens/s。具备原生多模态理解与行动、可靠工具使用、增强搜索能力，面向真实智能体工作负载，采用 Apache 2.0 开源许可。

    引用Fireworks AI@FireworksAI_HQ

    许多研究实验室只在事后才考虑推理效率。Step 3.7 Flash 是一个 198B 稀疏 MoE VLM，由 @StepFun_ai 从一开始就为推理而设计。196B 语言主干，搭配 1.8B 视觉编码器。 为真实世界的智能体工作负载而构建，运行速度最高可达 400 tok/sec。原生多模态理解与行动、可靠的工具使用，以及增强的网页与视觉搜索。 Apache 2.0。立即试用 → https://fireworks.ai/models/fireworks/step-3p7-flash-nvfp4

    推荐理由：198B稀疏MoE加MTP解码把速度推到400 tok/s，还开源Apache 2.0，这规格做agent的大脑正合适，做实时应用的可以试试手。

  6. 公众号：百度智能云53

    全灵（SEELE AI）联合百度智能云推出MoT大模型，一句话生成可玩世界

    全灵（SEELE AI）推出自研MoT（Mixture-of-Transformers）多模态大模型，围绕游戏世界训练，模型内部同步学习“看懂世界”与“生成世界”。数据层构建3000万+独家空间语义数据对，标注空间关系、物体属性和交互规则。百度百舸AI计算平台提供训练调度、GPU管理、故障诊断及推理加速等底层支撑。全灵已上线“都市射击”“CS重制版”“城市冒险”等可玩Demo，玩家可在AI生成的城市中移动、跳跃、瞄准、换弹，与NPC互动；内测中的3A Open-World由4D World Model驱动，目标实现真正可玩的开放世界。

  7. Google AI Developers47

    加入 @GoogleDeepmind 和 @HeyGen，6月11日！我们面向AI智能体、创意工具和多模态应用开发者的洛杉矶活动现已开放注册 👇 https://x.com/HeyGen/status/2062256762867388748

    引用HeyGen@HeyGen

    HeyGen + Google DeepMind in LA on June 11 A night of demos, conversations, and people building with agents, multimodal apps, and creative tools Got something interesting? Lightning demo slots are open. http://luma.com/heygen-xesd

  8. Rohan Paul65

    Rohan Paul 介绍 Anuma，一个私人 AI 工作空间，核心功能是跨模型统一记忆——用户在 ChatGPT、Claude、Gemini、Grok、DeepSeek、Kimi 等模型间切换时，上下文、偏好、目标和历史工作自动跟随。额外功能包括设备端加密记忆、默认隐私模式、无日志无训练、支持完整记忆导出、Council Mode（多模型并列回复对比）、单聊内模型切换，以及通过 iMessage 或 SMS 的 AI 文本能力。Paul 分享研究论文分析用例：上传多篇论文，利用多模态和多模型并行工作流，对比不同模型对同一主题的阅读、总结和关联能力，避免重复解释上下文。

  9. ElevenLabs：Blog60

    ElevenLabs 在 ElevenCreative Flows 中推出 Flows Agent 对话式创作助手

    ElevenLabs 在 ElevenCreative 的节点式创作画布 Flows 中推出 Flows Agent，用户在聊天侧栏描述需求后，Agent 会选择合适模型、创建并连接节点、执行图像、视频、配音、口型同步等完整生成流程。

    推荐理由：原文介绍了对话式 Agent 如何在节点画布中搭建并迭代多模态流水线，还给出 assist 模式和后台运行等控制方式。

  11. StepFun73

    阶跃星辰发布开源 Step 3.7 Flash（Apache 2.0），采用 MoE 架构（198B 总参/11B 活跃参），配备 MTP 辅助解码（3 个预测头），输出速度超 400 tokens/s，是同类两倍多。Artificial Analysis Intelligence Index 得分 42.6，较 Step 3.5 Flash 提升 4 分。智能体能力明显增强：GDPval-AA Elo 升至 1298，TerminalBench Hard 升至 35.6%。新增 1.8B 视觉编码器，MMMU-Pro 得分 75.3%。上下文窗口 256K tokens，提供 BF16、FP8、NVFP4 版本。缺点：AA-Omniscience 准确率仅 25.4%，幻觉率 84.4%。

    引用Artificial Analysis@ArtificialAnlys

    StepFun's Step 3.7 Flash sits on the Intelligence vs Output Speed Pareto frontier, scoring 43 on the Artificial Analysis Intelligence Index and is served at over 400 output tokens/s Step 3.7 Flash (open weights, Apache 2.0) is a significant upgrade on Step 3.5 Flash and stands out for its speed and gains in agentic performance (particularly GDPval-AA). 400 output tokens/s is more than double other models of a similar size class. Contributing to this speed is that the model has only 11B active parameters and the model ships with trained Multi-Token Prediction heads (3) that predict several tokens in a single forward pass, letting it decode multiple tokens at once using speculative decoding. Key results for Step 3.7 Flash with the high reasoning level: ➤ 4 point Intelligence Index improvement: Step 3.7 Flash scores 42.6 on the Artificial Analysis Intelligence Index, up 4 points from Step 3.5 Flash 2603 (38.5). It is equivalent to Qwen3.5 122B A10B (41.6) and trails MiniMax-M2.7 (49.6) and DeepSeek V4 Flash (Max Effort, 46.5) ➤ Speed-intelligence frontier: Step 3.7 Flash achieves ~400 output tokens/s on StepFun's first-party API, placing the model on the Intelligence vs Output Speed Pareto frontier. StepFun has released the weights for this model and we expect several third-party providers to serve this model ➤ Agentic capability improvements: Step 3.7 Flash improves over Step 3.5 Flash 2603 across our agentic evaluations, in both GDPval-AA (real-world agentic tasks) and TerminalBench Hard (agentic coding and terminal use). It achieves a GDPval-AA Elo of 1298, up from 1070 for Step 3.5 Flash 2603, and it's TerminalBench Hard score increases to 35.6% from 32.6%. AA-LCR (Long Context Reasoning) improves to 63.7% from 54.3%. Scores for other evals remain relatively flat ➤ Weaker on knowledge and hallucination than peers: While Step 3.7 Flash trails competitors overall on AA-Omniscience (-38), it improves from Step 3.5 Flash 2603 (-44). It has an AA-Omniscience accuracy of 25.4% and a hallucination rate of 84.4% ➤ Native multimodal support, new in this generation: Step 3.7 Flash introduces a 1.8B-parameter vision encoder for native image understanding, where Step 3.5 Flash was text-only. On MMMU-Pro (multimodal reasoning) it scores 75.3%, roughly matching Qwen3.5 122B A10B (75.0%). Among its same-size open weights peers, MiniMax-M2.7, DeepSeek V4 Flash, and gpt-oss-120b are text-only Key model details: ➤ Context window: 256K tokens ➤ Parameters: 198B total, 11B active (MoE). At BF16 native precision, Step 3.7 Flash requires ~400GB to store the weights. StepFun has also released FP8 (~200GB) and NVFP4 (~100GB) versions for lower-memory deployment ➤ License: Apache 2.0 ➤ Availability: Currently Step 3.7 Flash is available on @StepFun_ai 's first-party API

  12. IT之家·人工智能59

    谷歌 AI Edge Gallery 登陆 Mac，16GB 内存可运行 Gemma 4 12B 模型

    谷歌 AI Edge Gallery 现已登陆 macOS，Mac 用户可在本地离线运行 Gemma AI 模型。该应用提供 5 个谷歌指令调优模型，其中 Gemma-4-12B-it 可在 16GB 内存 Mac 上处理文本、视觉和音频，具备代码能力，实现设备端智能体和多模态分析。AI Edge Gallery 完全离线、私密性高且速度快。同时，谷歌推出免费听写应用 Google AI Edge Eloquent，支持语音转文字、去除口误和轻度润色，全部在设备端完成，并支持不同写作风格和自定义词汇。

  14. Artificial Analysis67

    StepFun 开源 Step 3.7 Flash（Apache 2.0），总参数 198B、激活 11B（MoE），上下文 256K。在 Artificial Analysis 智能指数上得分 42.6，较 Step 3.5 Flash 提升 4 分，输出速度超 400 tokens/s，通过 Multi-Token Prediction（3 个 token）加速。新增 1.8B 视觉编码器支持原生多模态，MMMU-Pro 得分 75.3%。代理能力提升：GDPval-AA Elo 从 1070 升至 1298，TerminalBench Hard 达 35.6%，AA-LCR 63.7%。知识/幻觉仍弱：AA-Omniscience 准确率 25.4%，幻觉率 84.4%。提供 BF16、FP8、NVFP4 精度权重以降低部署成本。

  15. 公众号：火山引擎48

    中国美术学院×火山引擎：高质量数据集赋能普通人专业作画

    中国美术学院与火山引擎联合开发「中国画创作平台」，通过6个月数据治理，将约3000张国画梳理为7维度结构化标签数据集，一次性标注通过率约95%。采用模型后训练技术，将国画鉴赏逻辑、创作理论注入豆包大模型和Seedream图像创作模型，封装为低门槛智能体。用户通过基础生成、修改调整、氛围添加三步操作，几分钟即可完成国画创作。智能体支持文生图、图生图，可集成至小程序、交互大屏，应用于教学、文创开发等场景。

  16. Jeff Dean75

    来看看我们的 Gemma 4 12B 模型：它是一个功能非常强大的开源权重模型，可以直接在你的笔记本电脑上运行。

    引用Google Gemma@googlegemma

    认识 Gemma 4 12B！ 一个统一的、无编码器的多模态模型，旨在将高性能智能直接带到你的笔记本电脑上，并以 Apache 2.0 许可证发布。 弥合边缘效率与高级推理之间的差距。以下是 Gemma 4 12B 的新内容：👇

  17. 公众号：阶跃星辰42

    阶跃 Step 3.7 Flash 拿下 Artificial Analysis 多项第一

    阶跃 Step 3.7 Flash 在 Artificial Analysis 榜单更新中，以 409 tokens/s 输出速度位列主流模型第一，端到端响应时长仅 7.1 秒，并在智能效率、速度价格比等维度领先。模型在保持高输出效率的同时兼顾搜索、代码、多模态理解与 Agent 工作流表现，以高吞吐、低时延和优成本结构支撑规模化部署。

  18. Elon Musk71

    xAI 与 Cloudflare 合作，将 Grok 的 LLM、音频、图像和视频模型接入 Cloudflare AI Gateway，用户可直接通过 Cloudflare 计费，无需额外认证或 API 密钥。Elon Musk 发推称 "Grok on Cloudflare"。

    引用Cloudflare Developers@CloudflareDev

    我们正与 @xai 合作，将 Grok 引入 @Cloudflare AI Gateway。 • Grok LLM、音频、图像和视频模型现已通过 AI Gateway 提供 • 直接通过 Cloudflare 计费 • 无需额外的认证、环境变量、API 密钥 𝚎𝚗𝚟.𝙰𝙸.𝚛𝚞𝚗("𝚡𝚊𝚒/𝚐𝚛𝚘𝚔-𝚒𝚖𝚊𝚐𝚒𝚗𝚎-𝚟𝚒𝚍𝚎𝚘-𝟷.𝟻-𝚙𝚛𝚎𝚟𝚒𝚎𝚠")

    推荐理由：开发者现在可以在Cloudflare上零配置调用Grok全家桶了，从LLM到视频生成，对已经用Cloudflare生态的人来说，这比单独接入xAI API省事太多。

  19. xAI：News75

    xAI 发布 Grok Imagine 1.5 预览版（图像转视频模型）

    xAI 通过 API 发布了图像转视频模型 `grok-imagine-video-1.5-preview`（Grok Imagine 1.5 预览版）。该模型能将单张静态图片转为流畅的电影感视频，用户提供起始帧和描述运动的提示词后，模型可生成包含相机移动、氛围和物理效果的动画，并保持对源图像的忠实。支持生成 720p 片段，可使用自然语言指令控制镜头、节奏和音效，并支持逐帧拼接成长场景。模型目前通过 xAI API 提供预览使用。

    推荐理由：xAI的新视频模型从单张图像生成电影级短片，支持自然语言控制运镜和氛围，对视频创作者和开发者是个值得一试的工具。

  27. Google Developers Blog75

    在笔记本电脑上运行 Gemma 4 12B：借助 Google AI Edge 解锁本地智能体工作流

    Google DeepMind 的 Gemma 4 12B 模型可在 16GB RAM 的普通笔记本上运行，支持本地数据处理与视觉洞察生成。macOS 用户可通过 Google AI Edge Gallery 执行动态 Python 代码与可视化，通过 Google AI Edge Eloquent 实现完全离线的语音听写和文本编辑。另外，LiteRT-LM CLI 新增 serve 命令，可创建行业兼容的本地端点，驱动完全本地的 AI 工具和智能体。

  28. Google Developers Blog78

    Gemma 4 12B：开发者指南

    Gemma 4 12B 是一款密集多模态模型，专为消费级设备上的高性能本地 AI 执行而设计。其采用新颖的无编码器架构，绕过传统视觉和音频编码器，将多模态数据直接输入大语言模型主干。

    推荐理由：Google 把多模态模型直接塞进消费级设备，靠的不再是缩水而是架构层面的创新。12B 放在本地跑，这次玩法变了。

6月3日周三
  1. IT之家·人工智能67

    京东开源 JoyAI-Echo 长音视频生成框架，支持对话式编辑与 5 分钟角色一致

    京东发布并开源 JoyAI-Echo 长音视频生成框架。其内置记忆库可在长达 5 分钟的视频中保持角色身份、视觉形象和声音音色高度一致。框架采用记忆驱动后训练流程，结合 SFT、跨模态 RLHF 与 Distribution Matching Distillation（DMD）技术，DMD 带来约 7.5 倍推理速度提升。JoyAI-Echo 还引入 Director Agent，支持自然语言需求自动拆分为剧本、角色、场景和镜头，实现对话式编辑。配套实时超分模块支持 736×1280 → 1152×1920 及 736×1280 → 1472×2560 两档分辨率提升。京东称该项目标志着其在长视频生成领域进入全球第一梯队。

  2. SenseTime73

    商汤（SenseTime）开源SenseNova U1模型，宣称实现“看、思考、创作”一体——从一张普通运动鞋图片直接生成营销视觉效果。该模型代表了架构上的范式转变。用户可通过SenseNova Studio、HuggingFace和GitHub尝试使用。

    推荐理由：商汤把理解、推理、创作塞进一个模型，而且直接开源，做视觉营销的可以不用再拼凑工具链了。

  4. 公众号：卡尔的AI沃茨67

    MiniMax M3发布，全链路Agent能力补全

    MiniMax M3发布，后续将开源。在SWE-Bench Pro上得59.0分，超越GPT-5.5和Gemini 3.1 Pro，接近Opus 4.7；终端编程与Opus 4.7持平；多模态OmniDocBench超Gemini 3.1 Pro；自主Agent框架Claw-Eval最高分。新架构MSA将每token计算量压至1/20，百万token上下文预填充快9倍、解码快15倍。支持Dynamic Workflows动态工作流，可调用MiniMax全家桶API。价格：Plus 6亿token 49元/月，Max 18亿token 119元/月，Ultra 55亿token 469元/月。自主运行近12小时产出18次commit、23张实验图表并跑通核心实验。

  6. IT之家·人工智能41

    消息称全球首款机器人手机荣耀 Robot Phone 支持 C-Log、LUTs 等进阶影音创作功能，第三季度发布

    消息称荣耀 Robot Phone 将于今年第三季度上市，定位为“全球首款机器人手机”，主打影音创作。其核心功能包括利用 AI 实现自动追踪主体与全自动运镜，提供大量预设模板。同时支持 C-Log、LUTs 等专业格式，并具备锁焦、锁白平衡、锁 AE 及锁运镜数据等能力。该机此前已宣布与电影摄影机厂商 ARRI 阿莱达成战略合作，其抗跌落性能已达旗舰水平，但防水能力仍有提升空间。

  7. Saining Xie67

    研究团队推出VSTAT基准测试，用于评估多模态大语言模型（MLLMs）在视频中追踪动态状态的能力。测试任务看似简单，包括计数杯子、识别键入的文字、统计翻页次数等，人类可以轻松完成，但当前MLLMs表现欠佳。该测试旨在推动视觉状态跟踪这一前沿方向的发展，解决模型从不完整、有噪声的视觉观察中建立和更新内部世界状态的核心挑战。

    引用Sihyun Yu@sihyun_yu

    Can MLLMs actually track what's happening in a video? Introducing VSTAT 🎯, our new benchmark for visual state tracking. The tasks are simple: count cups, read typed words, count page flips. Humans solve them easily. MLLMs don't. https://vision-x-nyu.github.io/vstat-site/ 🧵 [1/11]

  8. MiniMax (official)71

    MiniMax 官方宣布，其开源权重模型 M3 已在 SiliconFlow 平台上线，并提供为期 7 天的 50% 限时折扣。该模型号称是首个结合编程与智能体能力（在 SWE-Bench Pro 上超越 GPT-5.5 和 Gemini 3.1 Pro）、通过 MiniMax Sparse Attention 支持 100 万 token 上下文窗口、并原生支持多模态（涵盖图像、视频与计算机使用）的三大前沿能力的开源模型。SiliconFlow 当前优惠价为：缓存 $0.06、输入 $0.30、输出 $1.20 每百万 token（原价 $0.12/$0.60/$2.40）。

    引用SiliconFlow@SiliconFlowAI

    Coding like Opus4.7 / 1M context window / Native multimodal @MiniMax_AI M3 is now on SiliconFlow with day-0 support 🔥 🎉 Limited-time 50% off for 7 days Cache / Input / Output: $0.06 / $0.30 / $1.20 per 1M tokens (Regular: $0.12 / $0.60 / $2.40) M3 is the first open-source model combining all three frontier capabilities: → Coding & Agentic: beats GPT-5.5 and Gemini 3.1 Pro on SWE-Bench Pro → 1M context via MiniMax Sparse Attention → Native multimodal from step zero — image, video & computer use Try it on SiliconFlow ⬇️

  9. MiniMax (official)74

    MiniMax M3模型通过Live Session分享了核心信息。其MSA技术采用块级Top-K选择，保持真实、未压缩的KV缓存，使1M token上下文窗口高效运行。该技术将长上下文生成的注意力内核解码时间从约30%降至约5%，效率提升显著。M3是原生多模态模型，支持图像视频输入，可处理长程智能体任务及桌面操作，并具备视觉自评估迭代能力。模型在金融任务中展现出初级分析师水平。未来版本将聚焦更复杂的长程任务，并扩展金融、法律与生物领域。Together AI为其提供推理服务。

    引用Together AI@togethercompute

    MiniMax M3 is live and Together AI is powering its inference 🚀 Tomorrow at 6pm PT we're going live on X Spaces with the teams behind the model and the infrastructure to give you a deep dive. https://x.com/i/spaces/1nxeLLDDBEaJX

  10. MiniMax (official)80

    MiniMax-M3 在 @ValsAI 排名中位列第六 新的开源权重 SOTA 🚀

    引用Vals AI@ValsAI

    MiniMax 刚刚发布了 MiniMax-M3，这是他们的首个多模态模型。它是 Vals Index 和 Vals Multimodal Index 上新的开放权重 SOTA，总体排名第 #6。

    推荐理由：MiniMax 闷声干大事，第一个多模态模型就拿下 open-weight SOTA 和总榜第 6，做多模态应用的可以蹲一下权重。