跳到正文

技术方向

多模态 最新动态

文字之外的能力:看懂图片、图文混合理解、音视频输入输出的模型与产品进展。

455 条精选近 30 天 32 条共收录 2,684 条

更新

精选归档 · 第 15 页

5月25日周一第 281–300 条
  1. 蚂蚁 inclusionAI:HuggingFace 新模型69

    蚂蚁 inclusionAI 发布策略自适应多模态安全护栏模型 Sing-Guard-8b

    SingGuard 是蚂蚁 inclusionAI 推出的策略自适应多模态大语言模型安全护栏模型族(版本 Sing-Guard-8b),支持纯文本、纯图像、图文混合、多语言查询与回复的安全评估。其核心设计将安全策略作为运行时输入,部署团队可基于默认分类或自定义自然语言规则评估内容,无需重新训练模型。模型内置 fast-slow 动态推理流程:首 token 路由快速输出安全信号,需深度推理时继续生成更精确的最终判断。在涵盖多模态安全、纯图像安全、文本查询与回复安全、多语言查询与回复安全的六大基准测试上取得平均 SOTA 性能,并已开源至 HuggingFace 与 ModelScope。

    推荐理由:蚂蚁集团开源的多模态内容审核模型,最大亮点是运行时动态注入安全策略而不需重训,对需要灵活定制审核规则的团队是低门槛的高分工程实现。

  2. 蚂蚁 inclusionAI:HuggingFace 新模型69

    inclusionAI 发布 SingGuard 系列模型,首版为 SingGuard-2b

    inclusionAI 发布 SingGuard 系列模型,首个版本为 SingGuard-2b,用于文本、图像、图文、多语言及查询/回复侧的安全评估。SingGuard 将安全策略作为运行时输入而非固定训练分类,支持部署团队在不重新训练模型的情况下,依据默认或自定义自然语言规则进行内容审核。该模型在多项多模态安全基准上取得平均最优性能,支持快速首 token 路由与深度推理结合的动态推理流程,兼容 Transformers 和 vLLM 的 chat 消息输入。

    推荐理由:把安全策略写成自然语言就能即插即用,不用重新微调,这个思路对需要频繁调整合规规则的产品团队很实用。虽然只是个2B的小模型,但开箱即用的动态适配能力值得关注。

  3. 蚂蚁 inclusionAI:HuggingFace 新模型68

    inclusionAI 发布 Sing-Guard-2b:策略自适应多模态大模型安全护栏

    inclusionAI 开源了 Sing-Guard 模型家族,版本包括 Sing-Guard-2b 和 Sing-Guard-8b。该模型将安全策略作为运行时输入,支持文本、图像、图文及多语言场景的查询侧

    推荐理由:SingGuard把安全策略变成运行时输入,不用再为新规则重新训练模型,这对需要频繁调整审核标准的团队来说是个实用的发布。

  4. 蚂蚁 inclusionAI:GitHub 新仓库67

    蚂蚁 inclusionAI 开源多模态安全护栏模型 SingGuard

    SingGuard 是蚂蚁 inclusionAI 开源的多模态安全护栏模型族,提供 2B、4B、8B 三个参数版本。它将安全策略作为运行时输入,支持文本、图像、图文、多语言及查询/回复侧的安全评估,无需重新训练即可适配不同规则。采用快慢动态推理机制,在低延迟场景下输出紧凑判断,对模糊或高风险内容进行策略引导的推理。在多模态安全、图像安全、文本查询与回复安全、多语言查询与回复安全等基准上达到 SOTA 平均性能。模型已上架 HuggingFace 和 ModelScope。

    推荐理由:蚂蚁 inclusionAI 把安全护栏做成了“运行时可配置”的模型,换审核规则不用重训,对需要快速适配法规的团队是个真需求。不过生态刚起步,暂时还是小众工具。

5月23日周六
  1. Hugging Face 社区博客63

    NVIDIA 发布 Nemotron-Labs Diffusion 系列模型,支持三种生成模式

    NVIDIA 发布 Nemotron-Labs Diffusion 系列,含 3B、8B、14B 文本模型和 8B 视觉-语言模型(VLM),均采用商用友好的 NVIDIA Nemotron Open Model License 或 NVIDIA Source Code License。模型支持自回归、扩散(逐块并行生成后逐步精炼)和自推测(扩散草拟候选 token 再自回归验证)三种模式。8B 模型平均准确率比 Qwen3 8B 提升 1.2%,扩散模式每次前向传递的 token 数(TPF)达自回归的 2.6 倍,自推测达 6–6.4 倍。模型在 1.3T tokens 上预训练、45B tokens 上微调,代码与模型已发布于 HuggingFace 和 GitHub,推理将获 SGLang 支持。

    推荐理由:自推测模式让文本生成速度飙到AR模型的4倍,而且输出质量无损。NVIDIA这次开源的不仅是个新模型,更是一套能直接用在现有流程里的加速方案。

  2. Apple Machine Learning Research66

    VSAS-Bench:视觉流式辅助模型的实时评估基准

    现有视觉语言模型框架主要在离线场景下评估性能,但实时视觉助手所依赖的流式模型还需考量额外指标,如反映响应时效性的“主动性”和捕捉随时间推移响应稳定性的“一致性”。为此,研究团队提出了VSAS-Bench,这是一个新的评估基准,专门针对流式视觉语言模型在实时交互任务中的表现,填补了当前评估方法在动态、持续生成场景下的空白。

    推荐理由:苹果搞了个实时视觉助手的评估基准,把离线评测拉到了流式场景,多模态 agent 和实时 VLM 方向的研究者值得跟进一下评估方法。

  3. Tomasz Tunguz 博客70

    可塑界面:AI驱动的未来软件形态

    Salesforce已采用无头架构,允许销售人员通过AI直接更新数据,许多公司正通过MCPs跟进。同时,AI专家们正推动超越纯文本、更丰富的界面(如HTML),支持图表与交互。AI能根据场景动态生成定制化界面。无头系统并非移除前端,而是支持多种可塑化界面(如音频、网页)。未来软件的核心价值在于动态管理这些界面、确保其准确性,并将各类AI产物整合为可演化的上下文数据库与制品库。用户界面并未消失,而是变得“可塑”,能按需变形。

    推荐理由:动态 UI 不是消灭界面,而是让界面变得可塑性。Airbnb CEO 和 Anthropic 工程师都在押注 HTML 输出,这篇文章把信号串了起来,做产品的人值得一看。

5月22日周五
  1. IT之家·人工智能70

    网易有道“子曰4”多模态模型、语音合成模型全量开源

    网易有道宣布将其“子曰”大模型4.0的多模态模型与语音合成模型面向全球全量开源。其中,多模态模型(27B参数)专注于教育场景,在处理高难度视觉数理问题上达到行业顶尖水平,纯文本中文数理难题准确率为81.4%。该模型通过思维链优化,将输出长度压缩43.2%,有效降低了推理成本。同时开源的语音合成模型支持跨语种音色与情感迁移克隆,3秒内即可完成零样本复制,准确度超97%,并支持包括中、英、日、韩在内的14种语言。

    推荐理由:有道把垂直教育的多模态模型全量开源,27B参数在视觉数理上做到SOTA,还把思维链压缩了43%,推理成本实打实下降,做教育应用的可以拿来做二次开发;TTS的跨语种情感克隆也实用,3秒克隆14种语言。

  2. Google Developers Blog75

    推出 Gemini for Home 赋能服务提供商与硬件合作伙伴

    Google 通过推出全栈 Gemini AI 解决方案扩展其智能家居生态系统。该方案集成了先进的摄像头智能、自然语言查询功能和日常活动摘要能力。它为服务提供商和硬件制造商提供了现成的参考设计与API,使其无需大量研发投入即可构建主动式、品牌化的智能家居服务。该计划旨在超越基础设备控制,迈向能够理解情境并实时响应用户需求的AI原生智能家居。

    推荐理由:Google 把 Gemini 塞进智能家居,直接给硬件商和 ISP 提供交钥匙方案,这一步可能比 Nest 当年更有侵略性,做智能家居的得留意了。

  3. 美团 LongCat:HuggingFace 新模型73

    LongCat-Video-Avatar-1.5:升级版音频驱动数字人视频生成框架

    美团LongCat团队发布了LongCat-Video-Avatar-1.5,一个专注于音频驱动数字人视频生成的开源框架。其核心升级在于采用Whisper-Large音频编码器,显著优化了唇部动态的流畅度与自然度。该版本实现了精准的唇形同步、全身时序稳定性以及长视频中的身份一致性,并能泛化应用于动漫、动物及多人交互等复杂场景。通过基于DMD2的步蒸馏技术,模型仅需8步即可高效推理。团队还构建了一个涵盖多场景、多语言的人工评估基准,通过大规模主观评分与专家分析,验证了其在多项关键维度上的优异性能。

    推荐理由:美团把数字人模型升级到1.5版,换了Whisper做音频编码,唇形同步比之前自然不少,而且开源了训练代码,做电商直播和虚拟博主的朋友可以直接拿过来跟商业方案掰手腕。

5月21日周四
  1. IT之家·人工智能78

    腾讯张军官宣操作系统层级 AI 助手“马维斯”正式上工,Windows、Mac、安卓端同步上线

    腾讯于5月21日发布了操作系统层级AI助手“马维斯”,支持Windows、Mac和安卓平台同步上线。该助手具备文档归类解析、图片智能识别处理、系统维护等功能,并强调与操作系统深度集成,可调度不同模型处理任务,部分功能可在离线状态下使用。腾讯表示“马维斯”能完成市面主流Agent的大部分工作,并具备桌面操控手机应用等能力。这是继3月WorkBuddy和“龙虾”产品矩阵后,腾讯推出的又一AI助手产品。

    推荐理由:腾讯把 AI 助手压到系统层,预装本地模型、拔网线也能跑,不是又一个套壳工具,而是真正冲着‘电脑变成可对话对象’去的,值得装上看看实操体验。

  2. Google Blog:AI68

    我们在 I/O 2026 发布的 100 件事

    在 Google I/O 2026 开发者大会上,公司共发布了 100 项内容,重点介绍了 Gemini Omni、Google Antigravity 和 Universal Cart 等新产品的核心亮点。

    推荐理由:I/O 今年还是全场景轰炸,Gemini Omni 加一堆新产品,花十分钟扫一眼,未来半年 AI 要替你做哪块活就清楚了。