跳到正文

技术方向

多模态 最新动态

文字之外的能力：看懂图片、图文混合理解、音视频输入输出的模型与产品进展。

455 条精选近 30 天 32 条共收录 2,684 条

更新

精选归档 · 第 11 页

6月14日周日第 201–220 条
6月13日周六
  1. 公众号：通义实验室79

    MNN 适配 SME2 使 Qwen3-VL-4B 在端侧实时推理

    MNN 推理引擎深度适配 Arm SME2 指令集，使 Qwen3-VL-4B-Instruct 在支持 SME2 的 vivo X300 上实现实时多模态推理。Prefill 阶段性能提升 81%，Decode 阶段提升 13%。MNN 采用编译时内建 + 运行时自动检测设计，默认开启 SME2 加速。该模型为 4B 参数视觉语言模型，支持图文理解和对话，通过 MNN 官方已转换量化的模型可直接下载部署，开发者可通过编译开关一键开启硬件加速。

    推荐理由：这是一份硬核的端侧部署指南，实测数据让 Qwen3-VL 在 SME2 手机上 Prefill 提速超过 80%，做移动端 AI 的团队可以直接抄作业。

  2. 蚂蚁 inclusionAI：HuggingFace 新模型62

    inclusionAI 发布 VISTA-4B GUI 定位视觉语言模型

    VISTA-4B 是基于 Qwen3.5-4B 骨干的 GUI 定位模型，输入截图与自然语言指令，输出归一化 0-1000 坐标。训练采用视图一致 GRPO 和自验证交叉视图锚定。在 GUI 定位基准上，SSPro 得分 64.2（相比 GRPO-4B 提升 2.0），SSV2 得分 93.8（下降 0.4），OSWorld-G 得分 61.2（提升 1.3），OSWorld-G-R 得分 69.7（提升 0.5）。模型已开源在 HuggingFace，推荐使用提示词并返回 [x,y] 格式坐标。

    推荐理由：蚂蚁 inclusionAI 开源了一款 GUI 定位模型，基于 Qwen3.5 微调，在接地基准上小幅提升，关键是提供了自验证训练方法，做桌面自动化的可以直接下载用。

  3. 蚂蚁 inclusionAI：HuggingFace 新模型71

    inclusionAI/VISTA-9B：基于VISTA训练的GUI定位视觉语言模型

    VISTA-9B是基于Qwen3.5 9B骨干训练的GUI定位模型，输入截图与自然语言指令，输出0-1000归一化坐标。采用VISTA（视图一致自验证）方法，含view-consistent GRPO与self-verified cross-view anchoring。在SSPro、SSV2、OSWorld-G、OSWorld-G-R上分别取得69.2、95.8、68.1、75.5分，超越Qwen3.5-9B与GRPO-9B基线。模型已开源，可通过HuggingFace加载使用。

    推荐理由：蚂蚁 inclusionAI 的 VISTA-9B 专攻 GUI 定位，把截图和指令直接变成点击坐标，做界面自动化的开发者可以直接拿来用。训练中的视角一致性约束有点新意，但基准提升不大，更像个实干范本。

  4. MiniMax (official)82

    MiniMax M3 发布，具备前沿编码与智能体能力，原生图像视频输入和计算机使用，1M-token 上下文。核心采用 MSA 稀疏注意力：每个 query 评分 128-token KV 块，仅对 top 块做注意力。vLLM 当日即支持 M3，包括专用 MSA prefill/decode 核、前缀缓存与分块 prefill、BF16 和 MXFP8 检查点、Hopper 与 Blackwell 的 MoE 后端，并在 NVIDIA 与 AMD 硬件上验证。同时支持原生多模态输入、工具调用、推理解析和思考模式控制等智能体工作负载。

    引用vLLM@vllm_project

    🎉 恭喜 @MiniMax_AI 发布 MiniMax M3！前沿的编程与智能体能力、原生图像和视频输入、计算机使用，以及 100 万 token 上下文窗口，全部集成在一个开放模型中。 M3 的核心是 MSA，一种全新的稀疏注意力架构：它不再对完整的 KV 缓存进行密集注意力计算，而是让每个查询对 128 token 的 KV 块打分，并仅对得分最高的块运行注意力。这正是让 100 万 token 上下文变得可实际服务的关键。 M3 在 vLLM 中实现首日支持，并已在 NVIDIA 和 AMD 硬件上验证： ✨ 带专用 prefill 和 decode 内核的 MSA 稀疏注意力 ✨ 支持前缀缓存和分块 prefill 的 100 万 token 上下文服务 ✨ BF16 和 MXFP8 检查点，同时为 Hopper 和 Blackwell 提供 MoE 后端 ✨ 原生多模态输入（图像 + 视频） ✨ 面向智能体工作负载的工具调用、推理解析和思考模式控制 这样的首日支持是真正的团队协作成果。感谢 @MiniMax_AI、@NVIDIAAI、@AIatAMD 和 @inferact 的团队，以及 vLLM 社区让这一切成为可能。🙏 深入了解实现细节、内核工作和部署方案： 🔗 https://vllm.ai/blog/2026-06-12-minimax-m3-vllm

    推荐理由：M3把1M上下文从‘理论上能做’变成了‘今天就能部署’，MSA稀疏注意力是关键，开源社区和推理框架的深度合作值得关注。

6月12日周五
  1. IT之家·人工智能75

    苹果 iOS 27 健康 App 大改：卡片布局、营养识别、围绝经期追踪

    苹果在 iOS 27 中优化健康 App，将列表改为卡片布局并增加导航栏。新增视觉智能营养识别，用户通过相机 Siri 模式拍摄食物可获取加工程度、蛋白质、含糖量等信息及营养价值评级，不提供精确卡路里，需 iPhone 15 Pro 及以上。经期追踪扩展支持围绝经期，可分析长期周期异常模式并推送提醒与指导。Fitness+ 新增围绝经期和绝经期课程。数据同步速度提升，GymKit 扩展至 iPhone，无需 Apple Watch 即可与健身设备配对同步数据。

    推荐理由：视觉智能营养识别不能给精确卡路里，但那个“深度加工食品”提醒对普通人很实用，健康App这次更新算得上近年最有用了。

  2. vLLM 官方博客70

    vLLM 发布 MiniMax M3 Day-0 支持：1M 上下文多模态推理

    vLLM 宣布对 MiniMax M3 的 day-0 支持，覆盖 BF16 与 MXFP8 检查点，支持 1M-token 上下文、原生图像视频输入、minimax_m3 工具与推理解析器、EAGLE3 推测解码（草稿模型 Inferact/MiniMax-M3-EAGLE3）以及 TP/EP 部署和 Docker 镜像。

    推荐理由：官方团队拆解了 MSA 稀疏注意力、MXFP8 MoE 与 EAGLE3 在推理引擎中的落地细节，部署者可以照此选择 NVIDIA 或 AMD 配置并理解瓶颈所在。

6月11日周四
  1. 公众号：通义实验室72

    通义实验室详解如何用 Arm SME2 与 MNN 让 Qwen3-VL 在手机端侧提速

    通义实验室利用 Arm SME2 指令集与 MNN 推理引擎，在支持 SME2 的旗舰手机上实现 Qwen3-VL-4B-Instruct 的实时推理。实测开启 SME2 后 Prefill 阶段提速 81%，Decode 阶段提升 13%。MNN 的 SME2 支持采用编译时内建与运行时自动检测设计，开发者无需手动配置。

    推荐理由：将 SME2 加速拆解为从引擎编译到 APP 构建的完整流程，并给出 prefill 阶段 81% 提升的实测参考，为端侧多模态部署提供了可量化的工程路径。

6月10日周三
  1. OpenAI Developers76

    你的应用现在可以搜索网页上的图片。 Responses API 中的网页搜索现在除了文本结果外，还支持图片结果，因此你可以构建能展示商品、地点、视觉参考和来源链接以激发灵感的应用。

    推荐理由：OpenAI 搜索 API 终于支持图像结果了，以前只能返回文字，现在能直接拿商品图、地点图、视觉参考，做电商和旅行应用的开发者可以立刻集成，这个补丁等了太久。

  2. Fei-Fei Li78

    创意和想象力无与伦比！非常感谢@theworldlabs能与@withloreco的优秀人才合作，将他们不可思议的想法转化为用户可以享受的互动体验！🤩

    引用World Labs@theworldlabs

    我们将梦想化为世界。 然后用历史上最伟大的头脑填满它们。 不是视频。而是一个世界，直接在你的浏览器中运行。走进来 ↓

    推荐理由：World Labs把生成式空间智能做成了可走进的浏览器世界，不是看视频而是和历史伟人互动，技术想象力和产品落地都够惊艳，做虚拟世界和交互叙事的人值得直接点进去体验。

  3. xAI：News65

    Gopuff与SpaceXAI推出Go AI购物助手

    Gopuff与SpaceXAI合作推出Go智能购物助手，内置于Gopuff应用，由Grok文本、音频和图像模型驱动。Go结合Grok的推理、语音和图像生成能力与Gopuff的13年需求智能，利用X和网络实时信号。它可在用户打开应用前根据历史偏好和天气等信号构建个性化购物车，并包含基于Grok Imagine的超逼真视觉购物信息流。Go目前在美国iOS和Android端可用，随后在英国推出。

    推荐理由：Gopuff加SpaceXAI的组合给即时零售塞了个挺实在的AI购物助手，预判需求比我自己翻分类流畅，本地生活类工具团队该把它当个落地样本。

  4. Anthropic：Newsroom90

    Claude Fable 5 和 Claude Mythos 5

    Anthropic 今日推出 Claude Fable 5（通用安全版）和 Claude Mythos 5（受限安全版）。Fable 5 在软件工程、知识工作、视觉、科研等几乎所有测试基准上达到 SOTA，Stripe 称其将数月工程压缩至数天，FrontierCode 评分居前沿模型之首，可仅凭截图重建网页应用源码。Mythos 5 在药物设计中实现约 10 倍加速，其分子生物学假说盲测获科学家偏好的概率约 80%。两模型售价均为 $10/百万输入 tokens、$50/百万输出 tokens，较 Claude Mythos Preview 降价过半。Fable 5 在部分敏感主题上回退至 Claude Opus 4.8，安全触发率低于 5% 的会话。Mythos 5 通过 Project Glasswing 向网络安全防御者开放。

    推荐理由：Anthropic把最危险的模型安全地放出来了，Fable 5在编码、科研上不是小数点级别的提升，价格还砍半，95%的请求直接跑满血版，必读。

6月9日周二
  1. Hugging Face 社区博客76

    一个Agent如何通过链式调用两个HuggingFace Space构建3D巴黎画廊

    一个编码Agent调用HuggingFace上的两个Space，从零构建了展示巴黎地标3D高斯散点图的交互式画廊。Agent先用ideogram-ai/ideogram4生成每个纪念碑的黑色背景图像，再通过VAST-AI/TripoSplat从单张图像重建3D高斯散点（.ply），自动完成坐标系校正、取景、压缩为.ksplat（体积缩小约3倍），并构建基于Three.js的滚动切换、拖拽旋转查看器，最终部署为静态Space。整个过程无需客户端库，每个Space通过`agents.md`暴露可调用API。

    推荐理由：Hugging Face 把 agents.md 做成每个 Space 的标准说明书，agent 能直接读懂并链式调用图像和 3D 模型，这篇用 3D 巴黎画廊 demo 告诉你这事儿已经跑通了，做 AI 工具链的可以立刻照着试。

  2. Tencent Hy67

    腾讯混元推出UniRL，一个支持统一多模态模型的强化学习基础设施，并发布两个新算法DRPO和Flow-DPPO。UniRL通过单个后训练循环（生成→评分→优势→更新→同步）覆盖扩散/流匹配模型、LLM/VLM及统一多模态模型（如Hunyuan-Image 3和Bagel）。模型与算法作为独立轴，可实现模型×算法的组合覆盖。框架支持可插拔rollout引擎（训练侧/SGLang/vLLM-Omni）、FSDP2分片和三种部署模式。FlowDPPO针对流/扩散模型引入基于精确散度的信任域策略优化；DRPO为LLM RL提供平滑的优势加权二次正则化方法。代码已开源。

    推荐理由：UniRL把扩散和LLM的强化学习塞进同一个训练循环，外加两个新算法，多模态对齐的研究者可以立刻fork代码试起来。

  3. Apple Machine Learning Research79

    苹果发布第三代 Apple Foundation Models（AFM）

    苹果推出第三代 Apple Foundation Models（AFM）基础模型家族，与 Google 合作定制，包含五个模型，覆盖从设备端到基于 Private Cloud Compute 的服务器端模型。这些模型旨在驱动 Apple Intelligence 功能，包括全新 Siri 和智能工具，以用户为中心深度融合操作系统，隐私为核心设计原则。

    推荐理由：Apple与Google罕见联手推出的第三代基础模型，直接为下一代Siri和系统级AI功能铺路，标志着消费级AI的深度整合，产品经理和iOS开发者必须关注。

  4. Apple：Newsroom69

    受 DMA 影响，Siri AI 在欧盟将随 iOS 27 和 iPadOS 27 延迟上线

    由于欧盟《数字市场法案》（DMA），Apple 无法在 iOS 27 和 iPadOS 27 发布时于欧盟地区推出 Siri AI。该功能在欧盟的上线时间将晚于其他地区，具体时间未公布。

    推荐理由：苹果首次将 DMA 作为 AI 功能地区延迟的直接理由，并详细披露了与欧盟监管者的分歧，这个案例可能定义了 AI 助手在监管下的权限边界。

  5. Apple：Newsroom66

    Apple 推出 Siri AI：由 Apple Intelligence 驱动的更强大、更个性化的个人助理

    Apple 发布了 Siri AI，一款由 Apple Intelligence 驱动的个人助理，具备个人上下文、世界知识和屏幕感知能力，能提供更强大、更个性化的交互体验。

    推荐理由：苹果对 Siri 的这次重构不是简单地换个模型，它把个人上下文、屏幕感知和视觉智能实际嵌进了系统，对普通用户来说日常交互方式可能要变。

  6. TechCrunch：AI73

    苹果刚刚教会你的iPhone补全句子、完善照片和简化工作流程

    Apple为Safari、Shortcuts和Password应用添加了AI驱动的新功能，让iPhone能够自动补全句子、完善照片和简化工作流程。

    推荐理由：WWDC 2026 的 Apple Intelligence 更新不是颠覆性突破，但 Safari 标签管理、跨应用上下文和 Shortcuts 的 AI 创建让 AI 真正渗透到日常使用中，是所有苹果用户都该看看的实用升级。

  7. NotebookLM72

    推出更强大的 NotebookLM 🚀 重大升级带来了对话中的智能体能力、更高级的推理以及一系列新的输出格式。处理复杂的多步骤研究问题从未如此简单。 现已面向 Google AI Ultra 订阅者推出。

    推荐理由：NotebookLM 这次升级把 agent 能力塞进聊天框，从被动答案变成能拆解多步研究，对深度资料整理的人是真迭代，但仅限 Google AI Ultra 订阅，门槛不低。