跳到正文
#多模态
5月26日周二
  1. Elon Musk63

    xAI 的开发工具 Grok Build 现在支持直接粘贴截图来辅助开发。用户可通过快捷键截屏后，将图像粘贴至 Grok Build 界面，随后要求其基于图像进行灵感启发、讲解、调试或代码复现。该功能利用了 Grok 多模态模型强大的视觉能力，能够理解截图、UI 和视觉上下文，使得通过视觉化方式沟通和迭代开发想法变得比手动输入细节更直观、自然。

    引用X Freeze@XFreeze

    Just press Cmd + Shift + Ctrl + 3, then Cmd + V paste the screenshot directly into Grok Build and ask it to inspire, guide, explain, debug, or recreate what you want It’s much easier to explain ideas visually instead of trying to type out every tiny detail manually The workflow feels incredibly natural and easy once you start using images directly inside the development process Grok is multimodal and already has surprisingly strong vision capabilities for understanding screenshots, UI, layouts, and visual context

  2. Runway：News68

    Project Luxo：跨越AI媒体的恐怖谷

    Runway通过Project Luxo研究发现，AI生成视频已跨越“恐怖谷”。他们向创意生态从业者展示了《The Rogue》等AI短片及广告样片，评估显示观众开始关注故事本身，而非技术瑕疵。所有作品均由单人团队制作，耗时从3周到4小时不等。Runway认为，这标志着AI媒体成熟——当技术足够好以至于“隐形”，观众沉浸于故事时，便实现了这一跨越。

    推荐理由：Runway 用短片和一次百万播放广告测试宣称 AI 视频已越过恐怖谷，观众开始投入故事而非找瑕疵。这对内容生产的心理门槛是一次重塑，但一次推广式的成功不等于行业已稳定跨过。

  3. ElevenLabs：Blog64

    ElevenLabs 发布 Music v2，人声与编曲能力提升并下调定价

    ElevenLabs 发布 Music v2，提升人声、器乐和编曲质量，支持单首歌内从歌剧切换到重金属、局部 inpainting 重新生成与逐段构建完整歌曲，多语言歌词与演唱表现更稳定。

    推荐理由：原文来自 ElevenLabs 官方，给出模型能力细节、三平台定位和降价幅度，可帮助读者评估其在音乐生成场景的可用性。

  4. MarkTechPost62

    设计完整的多模态 RLVR 流程，涵盖 Open-MM-RL、视觉-语言提示、奖励评分与 GRPO 导出

    该教程以 TuringEnterprises/Open-MM-RL 数据集为实践基础，构建多模态推理与可验证奖励强化学习（RLVR）流程。内容涵盖数据集加载、结构分析（包括领域、格式、问题长度、答案类型和图像分布），并可视化各领域示例。同时实现了一个轻量级奖励函数，用于检查精确匹配等条件，并演示了如何将流程导出为 GRPO 格式。

  6. 公众号：火山引擎50

    网龙×火山引擎：豆包大模型让优质AI课程实现“量产”

    网龙与火山引擎达成合作，将底层架构全面上云并率先接入Seedance 2.0 API，依托豆包大模型构建覆盖文本、图像、视频的全链路AI智能生产体系，已落地2000余门标准化课程。豆包图像创作模型实现分镜风格统一，视频生成模型保障声画同步与角色声线一致，并用于制作K12虚拟实验互动资源。业务上云后资源利用率提升50%。双方计划2026年每月新增1500门以上AI融合课程，培训超1万名骨干教师，借助火山引擎全球化部署覆盖190多个国家和地区。

  7. IT之家·人工智能62

    小米汽车发布 Xiaomi Auto World Model 世界模型全新框架：重建 + 生成一体化，主流基准测试全面 SOTA

    小米汽车发布 Xiaomi Auto World Model 框架，首次将三维重建与视频生成深度耦合，打破行业独立拆分的技术路线。该框架在 Waymo、nuScenes 等主流基准测试中全面取得 SOTA，并已在合成数据生成（已交付超10万 clips 数据）、仿真测试、辅助驾驶学堂三大场景落地。

  8. Elon Musk67

    xAI发布了面向非技术背景的SuperGrok和X Premium+用户的Grok Build入门视频教程。教程提供了分步指南，核心内容包括：通过一条命令快速安装Grok Build；利用其创建真实的网站；使用内置的Grok Imagine工具自动生成图像与视频；以及在不同文件夹中同时运行多个项目。整个过程无需任何编程经验，并且Grok可以协助执行命令。

    引用Dan@Daniel_Farinax

    初学者视频：如何安装和使用 Grok Build（专为非技术背景的 SuperGrok 和 X Premium+ 用户制作） 朋友们问了我太多问题，所以我做了这个简单的分步指南。 你将清楚地看到如何： • 用一条命令在几秒内安装 Grok Build • 创建真正的网站 • 使用 Grok Imagine 自动生成图片和视频 • 在不同文件夹中同时运行多个项目 Grok 甚至会替你运行命令。无需任何编程经验。 观看完整演示 👇

    推荐理由：Elon 亲自转发的教程把 Grok Build 门槛压到了零编码，直接面向普通用户，是目前最友好的官方入门信号。

5月25日周一
  1. 蚂蚁 inclusionAI：HuggingFace 新模型58

    inclusionAI 发布 SingGuard 系列模型

    inclusionAI 发布 SingGuard 系列模型，首个版本为 SingGuard-4b。该模型是一种策略自适应多模态 LLM 护栏，将安全策略作为运行时输入而非固定训练分类，支持对文本、图像、图文、多语言、查询侧和响应侧进行安全评估。SingGuard 采用动态推理流程，可先快速输出首 token 安全信号，再继续生成更精确的判断。在涵盖多模态安全、图像安全、文本查询安全、文本响应安全、多语言查询安全及多语言响应安全的六大类基准测试中，SingGuard 达到平均 SOTA 性能。模型支持标准 Transformers 和 vLLM 聊天消息输入，无需手动改写提示词。

    推荐理由：蚂蚁集团开源的多模态安全护栏模型，把审核策略变成了动态可配置参数，对需要灵活合规的部署团队来说比单纯调 API 更可控。普通用户看看就好，做安全的人值得试。

  2. 蚂蚁 inclusionAI：HuggingFace 新模型71

    <中文标题>SingGuard: 策略自适应多模态护栏模型族开源</中文标题>

    <中文摘要>SingGuard 是一个策略自适应的多模态护栏模型族，包含 Sing-Guard-4b 和 Sing-Guard-8b 两个版本。它将安全策略作为运行时输入而非固定分类，部署团队可自定义自然语言规则而无需重训练模型。支持文本、图像、图文、多语言以及查询端与响应端的安全评估，提供快速和快慢结合两种推理模式。在涵盖多模态安全、纯图像安全、文本查询/响应安全、多语言查询/响应安全六大类基准上取得平均 SOTA 表现。模型已开源至 HuggingFace 和 ModelScope。</中文摘要>

    推荐理由：蚂蚁的 SingGuard 把安全策略变成了运行时输入，意味着审核规则可以随时改而不必重训模型，这对做内容安全的产品人是真省事，值得跟进。

  3. 蚂蚁 inclusionAI：HuggingFace 新模型74

    inclusionAI 发布 SingGuard-8b 策略自适应多模态安全护栏模型族

    inclusionAI 发布 SingGuard-8b，一个策略自适应（policy-adaptive）的多模态 LLM 安全护栏模型族，支持文本、图像、图文、多语言、查询侧和响应侧的安全评估。SingGuard 将活跃安全策略作为运行时输入，部署团队无需重训模型即可按默认或自定义自然语言规则进行审核。模型采用动态推理流程，先快速路由输出初步安全信号，再在需要时继续生成更精确的判断。在六大基准类别上，SingGuard 取得平均 SOTA 性能，并展现出对运行时策略的强适应性。模型支持标准 Transformers 和 vLLM 聊天格式输入。

    推荐理由：蚂蚁集团开源的这个多模态安全防护模型把安全策略变成运行时参数，不用重训就能适配新规则，做内容审核的团队可以直接套用，降低定制成本。

  4. 蚂蚁 inclusionAI：HuggingFace 新模型69

    蚂蚁 inclusionAI 发布策略自适应多模态安全护栏模型 Sing-Guard-8b

    SingGuard 是蚂蚁 inclusionAI 推出的策略自适应多模态大语言模型安全护栏模型族（版本 Sing-Guard-8b），支持纯文本、纯图像、图文混合、多语言查询与回复的安全评估。其核心设计将安全策略作为运行时输入，部署团队可基于默认分类或自定义自然语言规则评估内容，无需重新训练模型。模型内置 fast-slow 动态推理流程：首 token 路由快速输出安全信号，需深度推理时继续生成更精确的最终判断。在涵盖多模态安全、纯图像安全、文本查询与回复安全、多语言查询与回复安全的六大基准测试上取得平均 SOTA 性能，并已开源至 HuggingFace 与 ModelScope。

    推荐理由：蚂蚁集团开源的多模态内容审核模型，最大亮点是运行时动态注入安全策略而不需重训，对需要灵活定制审核规则的团队是低门槛的高分工程实现。

  5. 蚂蚁 inclusionAI：HuggingFace 新模型69

    inclusionAI 发布 SingGuard 系列模型，首版为 SingGuard-2b

    inclusionAI 发布 SingGuard 系列模型，首个版本为 SingGuard-2b，用于文本、图像、图文、多语言及查询/回复侧的安全评估。SingGuard 将安全策略作为运行时输入而非固定训练分类，支持部署团队在不重新训练模型的情况下，依据默认或自定义自然语言规则进行内容审核。该模型在多项多模态安全基准上取得平均最优性能，支持快速首 token 路由与深度推理结合的动态推理流程，兼容 Transformers 和 vLLM 的 chat 消息输入。

    推荐理由：把安全策略写成自然语言就能即插即用，不用重新微调，这个思路对需要频繁调整合规规则的产品团队很实用。虽然只是个2B的小模型，但开箱即用的动态适配能力值得关注。

  6. 蚂蚁 inclusionAI：HuggingFace 新模型68

    inclusionAI 发布 Sing-Guard-2b：策略自适应多模态大模型安全护栏

    inclusionAI 开源了 Sing-Guard 模型家族，版本包括 Sing-Guard-2b 和 Sing-Guard-8b。该模型将安全策略作为运行时输入，支持文本、图像、图文及多语言场景的查询侧

    推荐理由：SingGuard把安全策略变成运行时输入，不用再为新规则重新训练模型，这对需要频繁调整审核标准的团队来说是个实用的发布。

  7. 蚂蚁 inclusionAI：GitHub 新仓库67

    蚂蚁 inclusionAI 开源多模态安全护栏模型 SingGuard

    SingGuard 是蚂蚁 inclusionAI 开源的多模态安全护栏模型族，提供 2B、4B、8B 三个参数版本。它将安全策略作为运行时输入，支持文本、图像、图文、多语言及查询/回复侧的安全评估，无需重新训练即可适配不同规则。采用快慢动态推理机制，在低延迟场景下输出紧凑判断，对模糊或高风险内容进行策略引导的推理。在多模态安全、图像安全、文本查询与回复安全、多语言查询与回复安全等基准上达到 SOTA 平均性能。模型已上架 HuggingFace 和 ModelScope。

    推荐理由：蚂蚁 inclusionAI 把安全护栏做成了“运行时可配置”的模型，换审核规则不用重训，对需要快速适配法规的团队是个真需求。不过生态刚起步，暂时还是小众工具。

5月24日周日
  2. The Decoder：AI News59

    字节跳动研究发现：向多模态大模型提问比转录文本更利于长文档训练

    字节跳动 Seed 团队的研究表明，一个 7B 参数的多模态大模型在回答长篇、图像密集的文档问题时，比规模更大的模型表现更可靠。即使文档长度达到其训练时所见数据的四倍，该模型也能自主定位相关段落并准确作答。这种通过提问和检索进行学习的方式，优于传统上对页面内容进行转录的训练方法。

  3. Rohan Paul47

    李飞飞重新定义机器人学，强调其核心是“空间智能”——即机器在三维物理空间中感知、理解与行动的能力。这一能力使机器人能执行任务并实现人机协作。3D生成与重建技术正打破人类仅能体验单一物理世界的局限，创造出用于训练、创造、旅行与社交的无限数字多元宇宙。未来，人们将以“多元宇宙”的方式生活，极大拓展人类想象与交互的边界。

    引用a16z@a16z

    For all of history, humanity shared one 3D world. @theworldlabs co-founder @drfeifei says spatial intelligence now lets us generate and reconstruct infinite universes for creativity, travel, storytelling, even socialization. “It suddenly will enable us to live in a multiverse way.”

  4. IT之家·人工智能47

    消息称苹果 iOS 27 将升级相机、照片应用：增加自定义选项，补全视觉智能

    苹果将在 iOS 27 系统中大幅升级相机与照片应用。相机应用将引入自定义界面布局功能，允许用户将闪光灯、曝光控制、定时器等选项直接放置在主界面，并强化专业控制。同时，视觉智能功能将以全新 Siri 形态集成至相机，新增扫描食品营养标签、名片等能力。照片应用则新增“扩展”“增强”“重构”三项 AI 编辑工具，分别对应生成式填充、自动优化画质以及调整空间照片构图。

  5. IT之家·人工智能48

    全球首款机器人手机：荣耀 Robot Phone 真机现身高通骁友会五周年派对

    荣耀Robot Phone真机在高通骁友会五周年派对上首次公开亮相，作为全球首款机器人手机。该机顶部集成三轴云台相机，搭载2亿像素传感器，支持AI物体追踪、视频剪辑与实时感知补偿功能，定位为新形态具身智能AI终端。外观为银灰色机身搭配拉丝边框，背面印有“α”Logo，此前已在MWC 2026展会展示。据悉，该机将于2026年第三季度正式上市。

  6. StepFun70

    StepAudio 2.5 Realtime是一款实时语音模型，能够深度理解用户语音中的语气、语速、停顿乃至微表情等副语言特征。它支持通过API接入自定义人格，允许设定个性、背景故事和语言风格，并提供了上万种原生人格选项，可组合出数百万种特征。产品还内置了5个可直接体验的预设人格，并经过RLHF调优，确保在复杂的角色扮演压力测试中也能保持角色一致性。该模型支持中文和英文。

  7. Rohan Paul62

    Andrej Karpathy 认为，下一代重大软件变革将是大量传统应用的消失。他预言了一种“完全神经化”的计算范式：原始输入直接由神经网络处理，通过扩散模型实时生成专属于当下的界面。当前经典计算以 CPU 为主、智能为辅，而未来神经网络可能成为主导进程，传统 CPU 则退化为处理精确任务的协处理器。这意味着许多现有应用只是过渡产物，未来交互可能不再是静态应用，而是由神经系统根据即时情境生成的动态界面。

5月23日周六
  1. The Verge：AI54

    谷歌发布"万能"AI模型：表现惊人

    Google发布了新款Gemini AI模型，其核心特点是能跨模态处理“万物到万物”的生成任务，例如直接从文本生成高质量视频。文章通过作者用该工具为孩子的毛绒玩具鹿生成“度假视频”的实验，展示了当前生成式AI技术的强大与易用性——仅需极低的操作门槛和专业知识，即可创建逼真内容。这一趋势标志着强大的AI创作工具正快速普及，同时也引发了对生成式AI应用边界、内容真实性及潜在影响的深入思考。

  2. IT之家·人工智能63

    OpenAI ChatGPT 解锁 AI 填表技能：图像识别、语音输入和自动补全

    OpenAI于5月23日宣布为ChatGPT新增“AI填表”功能。用户上传表单图像后，可通过语音或文字指令描述需填写内容，系统将自动识别表单字段并完成信息补全。该功能整合了图像理解、语音交互与内容生成技术，实现“对话式”自动填写。目前输出为静态图片而非可编辑文档，且对上传文件清晰度有一定要求。

  3. Hugging Face 社区博客63

    NVIDIA 发布 Nemotron-Labs Diffusion 系列模型，支持三种生成模式

    NVIDIA 发布 Nemotron-Labs Diffusion 系列，含 3B、8B、14B 文本模型和 8B 视觉-语言模型（VLM），均采用商用友好的 NVIDIA Nemotron Open Model License 或 NVIDIA Source Code License。模型支持自回归、扩散（逐块并行生成后逐步精炼）和自推测（扩散草拟候选 token 再自回归验证）三种模式。8B 模型平均准确率比 Qwen3 8B 提升 1.2%，扩散模式每次前向传递的 token 数（TPF）达自回归的 2.6 倍，自推测达 6–6.4 倍。模型在 1.3T tokens 上预训练、45B tokens 上微调，代码与模型已发布于 HuggingFace 和 GitHub，推理将获 SGLang 支持。

    推荐理由：自推测模式让文本生成速度飙到AR模型的4倍，而且输出质量无损。NVIDIA这次开源的不仅是个新模型，更是一套能直接用在现有流程里的加速方案。

  4. Google Gemini87

    谷歌宣布Gemini应用月活用户已突破9亿。在此次更新中，Gemini正从工具演变为更主动的个人AI代理。主要更新包括新一代模型Gemini 3.5 Flash、全新的“Neural Expressive”设计语言，以及能将提示转化为高质量视频的Gemini Omni模型。核心亮点是两项代理功能：“Daily Brief”提供个性化每日简报，“Gemini Spark”则作为24/7的个人代理，在用户授权下主动管理任务与数字生活。这些更新标志着AI助手向更主动、更整合的方向发展。

  7. Apple Machine Learning Research66

    VSAS-Bench：视觉流式辅助模型的实时评估基准

    现有视觉语言模型框架主要在离线场景下评估性能，但实时视觉助手所依赖的流式模型还需考量额外指标，如反映响应时效性的“主动性”和捕捉随时间推移响应稳定性的“一致性”。为此，研究团队提出了VSAS-Bench，这是一个新的评估基准，专门针对流式视觉语言模型在实时交互任务中的表现，填补了当前评估方法在动态、持续生成场景下的空白。

    推荐理由：苹果搞了个实时视觉助手的评估基准，把离线评测拉到了流式场景，多模态 agent 和实时 VLM 方向的研究者值得跟进一下评估方法。

  9. Tomasz Tunguz 博客70

    可塑界面：AI驱动的未来软件形态

    Salesforce已采用无头架构，允许销售人员通过AI直接更新数据，许多公司正通过MCPs跟进。同时，AI专家们正推动超越纯文本、更丰富的界面（如HTML），支持图表与交互。AI能根据场景动态生成定制化界面。无头系统并非移除前端，而是支持多种可塑化界面（如音频、网页）。未来软件的核心价值在于动态管理这些界面、确保其准确性，并将各类AI产物整合为可演化的上下文数据库与制品库。用户界面并未消失，而是变得“可塑”，能按需变形。

    推荐理由：动态 UI 不是消灭界面，而是让界面变得可塑性。Airbnb CEO 和 Anthropic 工程师都在押注 HTML 输出，这篇文章把信号串了起来，做产品的人值得一看。

  10. TechCrunch：AI46

    我们试用了Google的AI眼镜，它们已接近成熟

    Google展示了运行Android XR操作系统的原型智能眼镜，该设备能将Gemini AI驱动的翻译、导航及其他信息直接叠加并显示在用户视野中。这标志着可穿戴设备从“后置屏幕”向“前置视窗”交互模式的重要演进，其核心在于将实时AI处理能力与日常视觉场景深度融合。

5月22日周五
  3. IT之家·人工智能47

    成交价 11 万元，全球首款眼神交互仿生人“小月”成功拍出

    5月22日，松延动力开发的全球首款眼神交互仿生人“小月”（型号X-Head 1）在京东拍卖平台成功拍出，经过49次出价，最终成交价为110790元，高于其9.9万元的官方定价。该仿生人采用人头造型，重7.5公斤，拥有24个自由度，可实现眼神、口型、情绪等多模态交互对话。

  4. Greg Brockman75

    OpenAI的Codex应用推出了名为Appshots的新功能。用户通过同时按下两个CMD键，即可将当前应用的完整上下文（包括可见与不可见的屏幕内容）发送给Codex，远超普通截图所能提供的信息。与此同时，OpenAI更新了远程Codex，使其在笔记本电脑锁屏状态下仍可正常运行，允许用户安全地将笔记本留在家中，通过手机进行远程编码。该应用集成了多项独特功能，提升了使用体验。

    引用Anthony Kroeger@kr0der

    Codex just launched one of the coolest features - Appshots. by pressing both CMD keyboard buttons, context of whatever app you're on gets sent to Codex, including screenshots and text. you might be thinking "isn't this the same as screenshotting and pasting it", and no it isn't. Appshots also pass in context from the app that isn't visible on the screen. For example if you're viewing a Google Doc and take an appshot, it passes in text that's scrolled offscreen as well. along with this release, OpenAI made remote Codex still work even while your laptop screen is locked, so you can leave your laptop on 24/7 at home, safely, while you code from your phone. highly recommend trying out the Codex app - so many features that don't exist elsewhere yet and the app is just delightful to use

  5. IT之家·人工智能70

    网易有道“子曰4”多模态模型、语音合成模型全量开源

    网易有道宣布将其“子曰”大模型4.0的多模态模型与语音合成模型面向全球全量开源。其中，多模态模型（27B参数）专注于教育场景，在处理高难度视觉数理问题上达到行业顶尖水平，纯文本中文数理难题准确率为81.4%。该模型通过思维链优化，将输出长度压缩43.2%，有效降低了推理成本。同时开源的语音合成模型支持跨语种音色与情感迁移克隆，3秒内即可完成零样本复制，准确度超97%，并支持包括中、英、日、韩在内的14种语言。

    推荐理由：有道把垂直教育的多模态模型全量开源，27B参数在视觉数理上做到SOTA，还把思维链压缩了43%，推理成本实打实下降，做教育应用的可以拿来做二次开发；TTS的跨语种情感克隆也实用，3秒克隆14种语言。

  6. IT之家·人工智能70

    OpenAI 推 Beta 版 ChatGPT for PowerPoint，可生成 / 编辑 / 完善幻灯片

    OpenAI于5月22日以Beta版形式推出ChatGPT for PowerPoint插件。用户安装插件并登录后，可在PowerPoint内直接使用自然语言指令，让ChatGPT生成新幻灯片、改写或润色现有内容。该工具还能分析现有演示文稿，识别内容缺口并推测可能被提出的问题。为确保可控性，系统在执行重要修改前会请求用户确认。测试版已向全球所有ChatGPT账号开放，免费用户也可使用。

  7. IT之家·人工智能62

    “拼好模”：字节跳动开源轻量原生统一多模态 AI 模型 Lance

    字节跳动开源了轻量级多模态模型Lance，其激活参数量为3B。该模型采用原生统一架构，在训练阶段即整合图像与视频的理解、生成及跨模态编辑功能。Lance通过双流专家设计和模态感知旋转位置编码等技术，平衡了理解任务所需的高层语义与生成任务所需的低层连续表示。模型训练共分四阶段，数据规模约1.9T标记，计算预算控制在128张GPU内。基准测试表明，Lance在图像生成、视频生成、图像编辑及视频理解等多项任务中表现突出。该模型权重已依据Apache 2.0协议开源。