#多模态

Qwen 开源 Qwen3.8-Flash-Next，SGLang 提供 Day-0 支持

Qwen 团队开源多模态 MoE 模型 Qwen3.8-Flash-Next，作为 Qwen4 架构的早期预览版。该模型采用 125B 参数主模型加 51B N-gram Embedding，每 token 激活 6B 参数，共 48 层，MoE 层使用 512 个专家和 top-10 路由。

Qwen3.8-Flash-Next 开源：Qwen4 架构早期预览

通义千问开源 Qwen3.8-Flash-Next，一款多模态 MoE 模型，也是 Qwen4 架构的早期预览。该模型采用 GDN + QSA 混合注意力等四项升级，总参数 125B，每 token 激活 6B，训练成本约为 Qwen3.7-Plus 的 1/9，编码与办公任务能力更强。

智谱 GLM-5.3-Flash 原生多模态模型上线，总参 320B 激活 18B

智谱开放平台公告 GLM-5.3-Flash 原生多模态模型上线，原生融入视觉能力，可主动观察界面、渲染与交互反馈并持续迭代，实现代码、浏览器与图形界面协同闭环。模型采用线性注意力与稀疏注意力混合架构，总参 320B、激活 18B，计算量与 KV 缓存较 GLM-5.3 大幅降低，并拓展至 Office 文档与金融研究工作流。

Google Search 升级家居装饰的 5 种方法

Google Search 推出五种家居装饰实用功能：AI Mode 可上传房间照片并生成家具摆放效果图，Lens 支持识别复古单品并查找相似商品，Circle to Search 无需切换应用即可圈选心仪装饰，Search Live 提供 DIY 安装的逐步指导，产品列表可对比价格并追踪降价提醒。近月“home decor inspo”搜索量上涨 300%。

Kinetix 团队加入 Runway，推进机器人世界模型研究

Runway 宣布巴黎 AI 研究实验室 Kinetix 团队加入公司。该团队专注 3D 人体运动与基于物理的视频生成，将推动 Runway 面向机器人的世界模型研究，并加入 Runway 巴黎枢纽以扩展欧洲布局，双方称大规模视频预训练是解决机器人泛化挑战的有效路径。

STARFlow2：用归一化流桥接语言模型，实现统一多模态生成

STARFlow2 提出将自回归归一化流与语言模型统一，用于多模态生成。该方法观察到自回归归一化流与 LLM 共享因果掩码、KV-cache 机制和从左到右结构，从而弥合文本与图像生成的架构差异，避免离散 token 化带来的视觉保真度损失。

你的alt文本能通过自动化检查，不代表它真的合格

WebAIM Million报告显示，主流网页中16.2%的图片缺少alt文本，另有10.8%的alt文本模糊或重复。GitHub为Accessibility Scanner构建了alt文本插件，采用五条确定性规则检测缺失、文件名、占位符、泛化词及相邻重复，并引入基于布局的重复检测和可选视觉模型审查，以平衡误报率与实用性。

Beyond Visual CoT：Internalized Visual Thinking 实现主动视频推理

多模态大语言模型常用视觉思维链（Visual CoT）进行空间、时间与具身环境推理，但生成中间推理图像带来大量推理开销。新提出的后训练框架 Internalized Visual Thinking（IVT）在训练阶段内化视觉思考，推理时直接进行文本预测与优化，从而在不增加推理成本的前提下实现主动视频推理。

OpenRouter 推出图像基准测试，覆盖全部 39 款图像模型

OpenRouter 发布 Visual Image Benchmarks，帮助用户快速评估其提供的全部 39 款图像模型（截至 2026 年 8 月）的实际能力。基准测试用七类挑战性提示词区分模型差异，包括不可能场景、计数、文本、空间关系、否定指令、编辑和一致性，并以网格形式展示结果，支持按价格和生成时间排序。OpenRouter 计划未来将该工具扩展至视频和音频模态。

DeepSeek-V4-Flash-Vision-Exp 发布

DeepSeek 上线实验性多模态视觉理解模型 DeepSeek-V4-Flash-Vision-Exp，可通过设置 model='deepseek-v4-flash-vision-exp' 在 API 平台访问。

Meta 发布 Muse Spark 1.2，强化视觉编码、机器人规划与音视频理解

Meta 于 2026 年 8 月 20 日发布 Muse Spark 1.2 的多模态评测结果，该模型是 Muse Spark 1.1 的编码向更新，并计划开放权重。

智谱发布 GLM-5.3-Flash 原生多模态模型，GLM-5.3 旗舰同步上线

智谱开放平台发布公告，GLM-5.3-Flash 原生多模态模型上线，GLM-5.3 新一代旗舰模型同步上线。GLM-5.3-Flash 采用线性注意力与稀疏注意力混合架构，总参数 320B、激活 18B，原生融入视觉能力，可主动观察界面、渲染与交互反馈并持续迭代，计算量与 KV 缓存较 GLM-5.3 大幅降低；应用场景拓展至 Office 文档与金融研究工作流。

PhotoScan：用智能手机照片估算胰岛素抵抗，精度接近DXA

Google Research 推出 PhotoScan，一种从智能手机 2D 照片直接估算三维身体成分的深度学习框架，可预测胰岛素抵抗，在临床研究中精度接近 DXA 扫描。

OpenRouter 视觉指南：如何通过 API 向多模态模型发送图像

OpenRouter 发布视觉指南，详解通过 Chat Completions API 向多模态模型发送图像的方法。请求体采用 messages 数组，用户消息的 content 包含 text 和 image_url 两部分，支持公开 URL 或 base64 数据 URL 两种格式，兼容 PNG、JPEG、WebP 和 GIF。

MiniMax Music 3.0 发布：新一代开源权重、生产级全能音乐模型

MiniMax 推出 Music 3.0，新一代音乐生成模型，可根据创意概念和可选歌词一次性完成整首歌的作曲、编曲、演奏与制作，最长支持五分钟。

Google 开源 C++ 库 Credentio，用于本地验证 C2PA Content Credentials

Google 发布开源 C++ 库 Credentio，用于处理 C2PA Content Credentials，初期支持规范 2.2 和 2.4 版本。该代码此前驱动近 40 个符合 C2PA 标准的 Google 产品，扩展至数百亿个生成的图像、视频、音频和文档资产。

微软研究院发布MindTopo基准，揭示VLM拓扑推理与规划能力差距

微软研究院推出新基准MindTopo，评估多模态大模型（VLM）在连通性、封闭性、顺序、分离和打结等拓扑概念上的理解能力。研究发现，当前模型在静态图像识别拓扑关系表现尚可，但在需要维持和操作这些关系的交互式规划任务中表现显著下降，且远低于人类水平。错误主要源于无法在多步动作中保持结构一致性或违反物理约束。该基准旨在为机器人和交互环境中的可靠决策提供诊断工具。

AMIE 研究医疗 AI 系统首次展示实时临床视频问诊能力

Google Research 与 Google DeepMind 推进医疗 AI 系统 AMIE，实现实时临床视频问诊，首次在此场景展示专家级 AI 能力。该系统基于 Gemini 和 Project Astra 构建，可解读视觉与听觉线索、引导虚拟体格检查并实时诊断推理。随机研究中，临床评估者对 AMIE 的病史采集、诊断准确性等核心能力给予好评，患者演员也更偏好视频体验。

LlamaIndex 发布 OCR 自动化生产级落地指南

文章探讨从基础文本提取到生产级文档处理流水线的差距，指出传统 OCR 在复杂场景下准确率下降的问题。对比了规则型、API 型和基于 LLM 编排的 Agentic 解析方案（如 LlamaParse），强调输入质量（分辨率、倾斜度）、置信度阈值设定及直通率（STP）是决定生产环境准确性的关键因素。

微软研究院发布CARE-X：面向临床放射学的统一视觉语言模型

微软研究院推出CARE-X，一个用于胸部X光解读的统一视觉语言模型。该模型结合生成式与判别式能力，通过辅助监督、奖励对齐学习（DAPO）及工具增强测量，旨在解决现有VLM在诊断置信度校准、临床保真度优化及定量测量方面的不足。研究基于SigLIP2和Phi-4-mini架构，并在印度Narayana Health的真实临床数据上进行了验证。官方强调这是研究模型，非医疗产品，未获监管批准。

Liquid AI 发布 LFM2.5-VL-3B 边缘端视觉语言模型

Liquid AI 发布 LFM2.5-VL-3B 视觉语言模型，屏幕理解 ScreenSpot-v2 平均 80.7，ToolSandbox 从 26.4 升至 59.5，RefCOCO 从 57.1 升至 87.9。

SGLang 为 Muse Glimmer 提供 Day-0 支持，针对本地智能体工作流优化推理

SGLang 与 Meta Superintelligence Labs 合作，为 30B 参数多模态模型 Muse Glimmer 提供 Day-0 支持，该模型拥有 128k+ token 上下文窗口。

Databricks 推出 FILE 原生列类型，面向多模态数据

Databricks 发布 FILE 原生列类型，用于在 Lakehouse 中直接存储和管理多模态数据。该类型将文件作为一等公民纳入表结构，支持图像、音频、视频等非结构化数据与结构化数据统一处理，简化了多模态数据管线的构建与查询。

NVIDIA Cosmos 3：开放世界模型如何推动物理 AI 前沿

NVIDIA 发布 Cosmos 3，一个基于混合 Transformer 架构的开放物理 AI 基础全模态模型，整合视觉推理、世界生成与动作预测。

字节 Seed 发布 SeedRealtime 音视频全双工大模型，走向全模态自然交互

字节 Seed 发布 SeedRealtime，用统一架构原生融合音频、视频与文本，实现“边看、边听、边说”的实时交互。相比级联模型，其音视频对话节奏问题减少一半，并已在豆包 App 全量上线，率先实现音视频全双工技术的规模化落地。

Black Forest Labs 发布 FLUX 3 Video：支持最长 20 秒 HD 视频与原生音频

Black Forest Labs 宣布 FLUX 3 Video 的生成能力正式开放，可通过 BFL API 和部分合作伙伴使用。

LlamaIndex 博客：智能 OCR 与生产级文档理解架构

文章探讨了从传统 OCR 到智能 OCR（Intelligent OCR）的演进，指出传统 OCR 仅识别字符而缺乏结构语义。智能 OCR 结合机器学习、布局感知和视觉语言模型，将文档转化为结构化数据并进行验证。文中分析了企业环境中传统 OCR 失效的原因，并介绍了包含分类、提取、验证及代理工作流的生产级管道架构。

LlamaIndex：文档 OCR 不会被前沿模型商品化，LlamaParse Agentic 以 84.9% 领先

LlamaIndex 发文反驳文档 OCR 正被前沿模型商品化的观点，称帕累托前沿仍远高于最新前沿模型。其开源的 ParseBench（约 2,000 个人工核验的企业页面、167,000+ 条测试规则）显示，GPT-4o 到 GPT-5.5 三代模型解析准确率提升约 24 分但每页成本约翻四倍，最新最贵模型仍比专用前沿低 20 分。

Mistral 开源 3B 多模态安全分类器 Shieldstral，支持推理时自定义政策无需重训

Mistral 发布 3B 开源权重多模态安全分类器 Shieldstral，以 Apache 2.0 协议开放下载。它把内容审核建模为政策自适应问答任务，推理时用自然语言问题传入政策即可返回校准的安全分数，无需重训练，统一覆盖文本、图像及 prompt-response 对的审核、拒答检测和毒性检测。

多模态大语言模型对齐的全面研究：Apple 团队独立拆解偏好对齐各环节

Apple 研究团队系统梳理了多模态大语言模型（MLLM）中的偏好对齐方法，将算法分为离线（如 DPO）与在线（如 online-DPO）两类，并发现两者结合可在特定场景下提升模型性能。团队还提出无需额外标注或外部模型的新型多模态偏好数据构建方法 Bias-Driven Hallucination Sampling（BDHS），在多项基准上取得与既有对齐工作相当的竞争力。

Qwen3.8-Max 发布：开源最强编码与协作模型，2.4T 参数

Qwen 正式发布 Qwen3.8-Max，这是 Qwen 家族迄今最强的模型，拥有 2.4T 参数（95B 激活），并首次开源 Qwen-Max 级权重，开放权重将于下周发布。

Runway Characters 入选 SIGGRAPH 2026 Real-Time Live! 现场演示

Runway 的实时交互数字人系统 Characters 入选 SIGGRAPH 2026 的 Real-Time Live! 环节，团队在现场用一张照片数秒内生成可对话的角色。该系统从单张图片出发，无需微调即可适配任意风格，逐帧生成画面以支持长达 30 分钟以上的连续对话。Characters 于今年 3 月上线，团队正探索可导航环境、多参考图像及记忆功能等后续方向。

MiniMax H3 发布：开源全能多模态生成模型，支持 2K 原生立体声视频

MiniMax 正式推出全能多模态生成模型 H3，可联合理解文本、图像、视频和音频，生成最高 2K 分辨率、15 秒时长且带原生立体声的视频。H3 在指令跟随、文字与品牌呈现、V2V 动作迁移上表现突出，2K 下每秒价格低于主流模型三分之一，768p 下低于主流 720p 价格一半。官方计划近日开源模型权重，以支持开源社区并加速硬件兼容。

字节发布 Seedance 2.5：单次生成 30 秒视频，支持多模态参考与精准编辑

字节跳动今日正式发布新一代视频创作模型 Seedance 2.5，单次视频生成时长从 15 秒提升至 30 秒，并支持多轮延长，可产出数分钟连贯内容。模型支持单次输入最多 30 张图片、10 段视频和 10 段音频作为参考素材，并升级白模参考、运动参考及绿幕编辑、时间戳精准编辑等能力。Seedance 2.5 已陆续上线即梦 AI、豆包专业版等平台，API 服务近期将上线火山方舟。

Gemini Robotics ER 2：用视频理解、任务编排与多机器人协作赋能机器人

Google DeepMind 推出 Gemini Robotics ER 2，一个基于 Gemini 的机器人基础模型。该模型在视频理解、工具编排和多机器人协作方面实现阶跃式提升，使机器人能够推理、协作并解决真实世界任务。

Thinking Machines Lab 发布开源权重模型 Inkling-Small

Thinking Machines Lab 发布开源权重模型 Inkling-Small，为 MoE 架构，总参数 276B、激活 12B，以约四分之一的体积达到与 Inkling 相当的性能。

Google DeepMind 在 Flow Music 中推出 Lyria 3.5，提升音乐性、歌词、人声与创作控制

Google DeepMind 今日在 Google Flow Music 中发布新一代音乐生成模型 Lyria 3.5，带来音乐性、歌词质量、人声表现力与创作控制的多项提升。新模型能生成更自然复杂的旋律结构，歌词对提示词的遵循度和结构意识更强，人声更逼真且富有情感，同时支持更便捷地控制输出节奏与时长。

Black Forest Labs 发布 FLUX 3 多模态基础模型，与 mimic 合作推出 FLUX-mimic 机器人模型

Black Forest Labs 发布 FLUX 3 多模态基础模型，联合训练图像、视频与音频，其中视频预测占总计算成本超 95%，并与 mimic 合作推出基于 FLUX 3 骨干的视频动作模型 FLUX-mimic。

Black Forest Labs 发布 FLUX 3：面向视频、图像与动作预测的多模态模型

Black Forest Labs 推出多模态模型 FLUX 3，支持带原生音频的视频生成、图像生成与动作预测。官方称其目标是让多模态 Flow 模型成为视觉智能的骨干，并已公布相关能力与早期结果。

Tibo@thsottiaux· 05:52AI 评分4848

OpenAI 将 ChatGPT Voice 功能引入桌面应用，用户可通过语音控制电脑并指挥 ChatGPT Work 或 Codex 中运行的多个 AI 智能体。该功能由 GPT-Live 驱动，支持同时说话、聆听和协调工作。即日起面向 macOS 和 Windows 的 Plus、Pro、Business、Edu 及 Enterprise 用户全球推送。