跳到正文
#多模态
6月1日周一
  3. IT之家·人工智能71

    上海：支持多模态智能体开发与应用，有序推进智能驾驶在共享出行、物流运输等多场景应用

    上海市人民政府办公厅印发《上海市服务业发展“十五五”规划》，提出发展AI软件技术及服务产业集群。规划支持多模态智能体开发与应用，推动智能客服等工具规模化；有序推进智能驾驶在共享出行、物流运输等多场景应用；做强算运存协同布局的智算云网络，推广模型即服务（MaaS）；并支持开发面向家庭、养老、文旅等场景的具身智能整机产品，加速机器人向通用智能与精细化服务跃升。

    推荐理由：这份上海“十五五”规划相当于一份AI落地指南，多模态智能体、无人驾驶物流、具身智能都点到了，虽非重磅突破，但给在沪AI公司画出了清晰的增长路线。

  4. MiniMax (official)79

    介绍 MiniMax M3：首个融合三大前沿能力的开源权重模型 - 编码与智能体前沿：59.0% SWE-Bench Pro，66.0% Terminal Bench 2.1，34.8% SWE-fficiency，28.8% KernelBench Hard，74.2% MCP Atlas - MiniMax Sparse Attention 将上下文窗口扩展至 1M - 从零开始原生多模态 API：http://platform.minimax.io Token 计划：https://platform.minimax.io/subscribe/token-plan 🚀新！MiniMax Code：http://code.minimax.io 权重与技术报告将在约 10 天内发布

  5. IT之家·人工智能70

    首个三项能力兼备的国产旗舰模型：MiniMax M3 发布，百万上下文、原生多模态

    MiniMax 发布旗舰大语言模型 M3，宣称是首个同时具备编码与智能体能力、百万上下文与原生多模态的国产模型。模型基于自研 MSA 架构，API 上下文窗口最高支持 1M tokens，保障至少 512K 可用。在 BrowseComp 智能体评测中，M3 以 83.5 分超越 Opus 4.7（79.3）。官方提供 M3 与 M3-highspeed 两个版本 API，标准版定价为输入 2.1 元、输出 8.4 元/百万 tokens（上下文≤512K，限时五折），并即将在 HuggingFace 与 GitHub 开源。

  6. 公众号：MiniMax78

    MiniMax M3 发布：前沿 Coding、1M 上下文与原生多模态集于一身

    MiniMax 发布 M3 模型，采用全新稀疏注意力架构 MSA，支持 1M 上下文窗口，并原生支持图片、视频输入及电脑桌面操作，是国内首个齐备这些要素的开源模型。

    推荐理由：M3在复现论文和CUDA优化中的长程自主迭代，将模型评估从单轮得分推进到真实协作场景，为衡量Agent Coding能力提供了更具参考价值的维度。

  7. 公众号：MiniMax65

    MiniMax M3 发布：1M 上下文、原生多模态、前沿编程与 Agent 能力

    MiniMax M3 今日发布，采用自研 MSA 稀疏注意力架构，支持 1M 上下文窗口，100 万上下文下每 token 计算量仅为上代 1/20，prefilling 加速超 9 倍，decoding 加速超 15 倍。它是原生多模态模型，支持图片、视频输入及 Computer Use。Coding 与 Agent 能力在 SWE-Bench Pro（59.0%）、Terminal Bench 2.1（66.0%）等基准达到前沿水平。M3 是国内首个同时具备 1M 上下文、原生多模态、前沿编程与 Agent 能力的开源模型。API 已开放，按上下文分两档计价，上线首 7 天 512k 及以下 5 折。同步推出 MiniMax Code Agent 与 Token Plan 订阅（¥49/月起）。预计 10 天内发布技术报告并开源模型权重。

5月31日周日
  2. StepFun80

    阶跃星辰发布了Step 3.7 Flash，这是一款198B参数的视觉模型，旨在DGX Spark等桌面设备上运行。用户实测表明，128GB统一内存是运行门槛，模型占用约104GB。部署无需官方专用llama.cpp分支，主线版本即可。在上下文长度上存在权衡：启用视觉功能时，基于q8 KV cache的64K为上限；若要使用最高256K上下文，则需禁用视觉并切换至q4 KV cache，此时模型与缓存共占约114GB内存。该模型是推理模型，思考过程可能消耗大量max_tokens，需注意设置。

    引用Sudo su@sudoingX

    我现在正在一台 dgx spark 上运行 stepfun 新的 step 3.7 flash。 198b 的视觉模型，跑在一台就摆在桌上的机器上。以下是如何帮你省下大约 3 小时抓耳挠腮的加载时间，因为我已经替你抓过了。 官方 README 告诉你需要 stepfun 自己的 llama.cpp fork。你不需要，主线 ggml-org 就能跑得好好的，视觉功能什么的都行，64k。别花一个小时去构建一个 fork，结果发现不用它模型也能加载。 下面这个才是真正会吃掉你一整晚的：模型占了你约 121gb 统一内存池中的 104gb，而 spark 没有 swap。请求的上下文太大，它不会干净地崩溃，而是会静默地颠簸，内核把模型页换出、再从磁盘反复读回，循环往复，而你只能盯着“loading”发呆。 判断的信号是 read_bytes。如果它涨过 104gb 的模型大小还继续涨，同时进程内存钉在 99% 且日志毫无进展，那就是卡死了。杀掉它，它不会自己恢复。 在 q8 kv cache 上加载视觉投影器时，64k 就是 128gb 机器上的上限，超过它就会在 clip loader 里颠簸，模型加上 KV 加上视觉缓冲区全都在争抢你剩下的那约 17gb。 想要完整的 256k 上下文？去掉视觉，换成 q4 kv cache，这样就能装下，121gb 里用 114gb。这就是他们 README 没有明说的取舍：大上下文是真的，只不过得用 q4 cache，而且仅限文本。 而且它是个推理模型。问它点东西，如果你得到空白回复，不是你把它弄坏了，是你把 max_tokens 设得太低，它把整个预算都花在思考上了。答案就在 reasoning_content 里。给它留点空间。 这就是那 3 小时。确切可用的参数和权重在回复里。

    推荐理由：把 198B 的视觉模型塞进一台桌面盒子，还跑通了，这本身就是个小里程碑。更关键的是，这篇实战直接帮你绕开了三个大坑，省下的三小时够你喝杯咖啡慢慢试了。

5月30日周六
  1. StepFun67

    Step 3.7 Flash，Hermes Agent 用户可免费使用 30 天。还能出什么问题？🍿 感谢 @NousResearch 促成此事。迫不及待想看 Hermes 用户们会构建出什么！

    引用Nous Research@NousResearch

    Step 3.7 Flash is now free for 30 days via Nous Portal It is a new MoE vision-language model focused on agent efficiency, coding, search, and multimodal workflows — and Hermes Agent users have been loving it, so thank you to @StepFun_ai for hooking them up!

  2. The Verge：AI73

    AI 骗子正在创建虚假的黑人形象来销售 Shein 劣质商品

    有卖家利用 AI 生成虚假的黑人形象，在 TikTok、Facebook 和 Instagram 上扮演手工制品创作者进行销售。例如一个名为 Aliyah 的 AI 生成形象，以带泪诉说的方式售卖所谓手工皮带扣，但该形象及其产品均为虚构。此类 AI 虚拟网红被用于推广通过代发货模式销售的批量生产品。

    推荐理由：AI生成的虚拟黑人卖家在TikTok上哭着卖假货，The Verge这篇调查把AI黑产里最脏的那面扒给你看，做社交电商的尤其该点开读。

  3. StepFun55

    等加载完想听听你的看法。👀

    引用Ivan Fioravanti ᯅ@ivanfioravanti

    Step 3.7 Flash was another one I was really looking for! Big jump compared to 3.5, multi modal and even better than DeepSeek V4 Flash in some benchmarks! 🔥 This could become my go to model on 128GB! Download in progress right now!

  4. StepFun62

    小即是美。😌

    引用Teortaxes▶️ (DeepSeek 推特🐋铁粉 2023 – ∞)@teortaxesTex

    I've been waiting for this! They managed to do it before June, and they open sourced it right away! @antirez I've been saying. Look at this model. It's much smaller than V4-Flash, it's multimodal, it's fast. It deserves to be added.

  6. IT之家·人工智能62

    英伟达推出 LocateAnything，主打 AI 高速、高精度检测对象

    英伟达联合香港理工大学、南京大学推出 LocateAnything 模型，专为机器人感知与 AI 智能体设计，可高速高精度从图像或截图中定位指定对象并输出检测框。该模型采用并行框解码技术，提供快速、慢速与混合三种模式。其训练数据集 LocateAnything-Data 包含 12M 图像、138M 语言查询与 785M 边界框。在单张 H100 GPU 上，混合模式速度达 12.7 Boxes Per Second，超过 Qwen3-VL（1.1 BPS）与 Rex-Omni（5.0 BPS）。在 LVIS（IoU=0.95）评测中得分 31.1，高于 Rex-Omni 的 20.7。

  7. OpenRouter72

    现在你可以直接在ComfyUI工作流中使用你的OpenRouter模型了！ [引用 @ComfyUI]：ComfyUI刚刚添加了@OpenRouter支持。 你不再局限于单一的大语言模型，现在可以直接在Comfy中访问20多个模型。 更多灵活性，更少摩擦，同样的工作流。 工作流链接在下方👇

    引用ComfyUI@ComfyUI

    ComfyUI 刚刚添加了对 @OpenRouter 的支持。 不再被锁定在单一 LLM 中，你现在可以直接在 Comfy 内访问 20 多个模型。 更灵活，更少阻力，同样的工作流。 下方是工作流的链接👇

    推荐理由：ComfyUI 首次直接集成 LLM 路由服务，等于给图像管线加了个「外挂大脑」，做自动化工作流的人可以直接在节点里调用 20+ 模型，省掉一堆 API tinker 环节。

  11. Greg Brockman76

    OpenAI 实时翻译功能——使用70多种输入语言说话，翻译成13种输出语言： gpt-realtime-translate 接收任意语言的语音输入，并输出目标语言的语音。 大语言模型很棒，但特定用例需要专用模型。 我们正在智能眼镜上运行此功能。

    引用cayden 凯登@caydengineer

    OpenAI 刚刚发布了一种全新的模型 gpt-realtime-translate 接收任意语言的语音音频，并输出你目标语言的语音 LLM 很棒，但针对特定用例你需要专门的模型 我们正在我们的智能眼镜上运行这个

    推荐理由：OpenAI悄悄推出一个专门做实时语音翻译的模型，不是通用LLM，而是专用模型。这标志着AI交互从文字转向语音的第一步，做翻译硬件或AR眼镜的团队要睡不着了。

  15. Google Blog：AI74

    Gemini Omni 与 Gemini 3.5 的 11 个实战展示

    Google 在 2026 年 Google I/O 大会上发布了新一代多模态模型 Gemini Omni 与 Gemini 3.5，并同步提供了 11 个视频，集中演示了这两款模型在实际场景中的能力。

    推荐理由：Google 官方放出的这组视频演示，直接展示了 Gemini Omni 和 3.5 的实际表现，比参数和 benchmark 更直观，做多模态应用的可以逐帧研究。

5月29日周五
  1. Qwen：Blog Retrieval66

    Qwen-VLA：从理解世界到付诸行动

    通义千问推出通用视觉-语言-动作模型Qwen-VLA，基于Qwen多模态骨干，将视觉感知、语言理解与空间推理扩展至连续动作生成和轨迹预测。训练分四阶段：文本到动作预训练（T2A）、持续预训练（CPT）、监督微调（SFT）和强化学习（RL）。在LIBERO上达97.9%，Simpler-WidowX达73.7%，RoboTwin-Easy/Hard达86.1%/87.2%，匹配或超越专精模型。数据涵盖超10,000小时公共机器人轨迹、1,000+小时内部真实轨迹及800万+合成仿真轨迹。

    推荐理由：Qwen-VLA 把机器人操作、导航和跨实体控制统一进一个模型，在多个基准上打平甚至超越专用模型，这是通用具身智能的一个重要信号，但离实际可用还有距离。

  4. 公众号：通义实验室64

    通义实验室发布教程：在 Android 手机部署 MCP 感知服务器

    通义实验室发布教程，演示如何在 Android 手机上部署 MCP 感知服务器，使手机具备本地视觉与听觉分析能力。核心基于端侧 MNN 推理引擎和 Qwen3-VL 2B 模型（约 1.3GB），摄像头与麦克风采集的音视频在本地实时转化为结构化 JSON，再通过 MCP Tool 供 Claude Code 等云端 Agent 远程调用。整个过程不上传原始数据，仅传输语义提取结果。项目已开源，实测可识别红绿灯状态等场景。

    推荐理由：如果你做Agent总觉得AI对物理世界是瞎子，这篇教程就是解药。把Qwen3-VL塞进手机当本地眼睛，不传原始视频只给结构化文字，隐私友好又能被Claude直接调用。

  5. IT之家·人工智能74

    小米开源可控视频音效生成模型 ControlFoley，让声音“按你想要的来”

    小米大模型应用团队发布开源可控视频音效生成模型 ControlFoley，旨在解决创作中的可控性难题。该模型统一支持文本引导视频配音、文本控制视频配音和参考音频控制视频配音三类任务。ControlFoley 在 VGGSound-Test 等多个 benchmark 上取得开源 SOTA 表现，其代码、模型权重和在线 Demo 均已开放。

    推荐理由：小米开源的 ControlFoley 把视频音效生成从“看画面配声音”推进到“按意图来”，开源 SOTA 且直接提供 Skill，做视频创作的可以上手试试。

  6. Rohan Paul56

    Google针对Gemini应用配额问题推出多项修复。主要修复了一个导致1-2个Omni视频即耗尽部分用户配额的bug，Ultra用户的Omni生成次数提升至2倍。Pro提示词现在设有每提示配额上限，失败的请求不再计入配额。Flash-Lite模型免费使用且不占用配额。此外，系统将记住用户选择的模型，除非用户主动更改或达到配额上限。更详细的用量分析和提醒功能即将推出。

    引用Josh Woodward@joshwoodward

    We’ve heard your feedback about hitting limits too quickly on @GeminiApp. We're rolling out several fixes to make your quota stretch further and feel more predictable… 🧵

  7. 公众号：腾讯元宝41

    元宝助手正式入驻QQ浏览器，底层模型升级至Hy3 preview

    元宝助手正式入驻QQ浏览器，搜索栏、划词等AI入口全面升级为元宝助手，底层模型同步升级至Hy3 preview。新功能包括搜索栏唤起提问、跨标签读取多个网页与文件、拍照搜题分步解析、长网页一键转音频，以及写作、改文章、出图等。元宝助手已同步嵌入微信、腾讯会议、QQ音乐等腾讯系应用，Mac版本已更新，其他版本逐步放量。

  8. StepFun71

    阶跃星辰（Step Fun）的视觉语言模型Step 3.7 Flash已在ZenMux平台上线。该模型采用稀疏MoE架构，专为智能体、编程、搜索、多模态及长上下文工作流设计。其核心性能包括：400 TPS推理速度、约110亿激活参数、256K上下文窗口及3个推理级别。该模型能够理解UI、图表、文档和图像以编写代码或调用工具，并擅长深度网络与视觉搜索，在τ²-bench上跨难度级别取得98%+的成绩。它兼容Claude Code、MCP风格工作流等，并可本地部署于Mac Studio M4 Max、DGX Spark等硬件。

    引用ZenMux@ZenMuxAI

    Excited to support Step 3.7 Flash by @StepFun_ai on ZenMux from day one. 🚀 A sparse MoE vision-language model built for agentic, coding, search, multimodal, and long-context workflows. ⚡ 400 TPS, ~11B active params, 256K context, 3 reasoning levels 👁️ understands UIs, charts, docs, and images — then writes code or calls tools to act on what it sees 🔎 built for deeper web + visual search, with more sources and follow-up 🛠️ reliable tool use: less drift, fewer broken tool calls, 98%+ on τ²-bench across difficulty levels 🧠 works with Claude Code, KiloCode, Hermes Agent, OpenClaw, and MCP-style workflows 🖥️ runs locally on Mac Studio M4 Max, DGX Spark, and AMD AI Max+ 395 Try it on ZenMux now → https://zenmux.ai/stepfun/step-3.7-flash One API for capable models. #StepFun #ZenMux #AIAgents #LLM

  10. StepFun72

    阶跃星辰发布的多模态模型 Step 3.7 Flash 已在 ModelScope 平台上线。该模型采用 198B 总参数的 MoE 架构，每个 token 激活 11B 参数，推理速度最高达 400 tok/s，支持 256K 上下文窗口，并提供低、中、高三个推理级别以平衡速度与效果。其在 ClawEval-1.1 榜单位列第一（67.1分），在 SWE-bench Pro 上排名第二（56.3分）。模型具备原生多模态能力，由语言骨干与视觉编码器组成，原生支持解析密集UI、图表及财报。该模型采用 Apache 2.0 协议开源，并兼容 vLLM 等多种推理框架。

    引用ModelScope@ModelScope2022

    Thrilled to welcome Step 3.7 Flash landing on ModelScope, a 198B sparse MoE VLM from @StepFun_ai 🔥🤖 https://modelscope.cn/collections/stepfun-ai/Step-37-Flash 198B total, 11B active per token, up to 400 tok/s. 256K context. Three reasoning levels (low/medium/high) to balance speed, cost, and depth. 🥇 #1 on ClawEval-1.1 (67.1), leading Kimi K2.6 by 9.3pts 🥈 #2 on SWE-bench Pro (56.3) 🥇 #1 on SimpleVQA Search (79.2) 🖼️ Multimodal: 196B language backbone + 1.8B vision encoder. Parses dense UI, charts, and financial reports natively. 📄 Apache 2.0. vLLM / SGLang / llama.cpp / Transformers supported. Hermes Agent / OpenClaw / Kilo Code compatible. Runs locally on Mac Studio or DGX Station with 128GB+ memory.