跳到正文

技术方向

多模态 最新动态

文字之外的能力:看懂图片、图文混合理解、音视频输入输出的模型与产品进展。

454 条精选近 30 天 31 条共收录 2,678 条

更新

精选归档 · 第 3 页

9月23日周三第 41–60 条
  1. Meta AI:Research Blog70

    Meta 发布 Muse Realtime Avatar,将实时语音转化为可交互的动态化身

    Meta 发布 Muse Realtime Avatar,将 Muse Realtime Voice 的语音流实时转化为带表情、手势和全身动作的交互化身,可基于参考图像驱动人像、插画、动物或日常物品。

    推荐理由:原文给出了蒸馏方案、延迟数字和与商业系统的对比结果,读者可以据此评估其实时化身生成的技术路线和落地水平。

9月22日周二
9月18日周五
  1. Qwen:Blog Retrieval69

    Qwen 发布 Qwen3.8-LiveTranslate 实时同传模型,LAAL 降至 2.3 秒

    Qwen 发布 Qwen3.8-LiveTranslate,采用 Interleave 架构与 Hybrid-MoE Thinker–Talker 设计重构实时同声传译,平均滞后(LAAL)从上一代的 2.8 秒降至 2.3 秒。

    推荐理由:官方给出了架构设计、LAAL 从 2.8 秒到 2.3 秒的数字和多语言评测结果,读者可以据此评估其实时翻译能力的实际变化。

  2. Qwen:Blog Retrieval78

    Qwen 发布原生全模态模型 Qwen3.8-Omni-Flash,主打音视频智能体任务交付

    Qwen 发布下一代原生全模态模型 Qwen3.8-Omni-Flash,支持文本、图像、音频和视频输入及 1M token 上下文窗口,29 项评测平均分较 Qwen3.5-Omni-Plus 提升超过 25%,音频输入每小时价格下降超过 98%,音视频输入每小时价格下降超过 93%。

    推荐理由:官方发布同时开放 API 和开源插件与运行时,读者可以据此评估音视频智能体在剪辑、会议、实时交互等工作流中的落地方式。

9月16日周三
  1. 蚂蚁 inclusionAI:GitHub 新仓库63

    蚂蚁 inclusionAI 开源 Realtime-Venus 全双工交互系统

    蚂蚁集团 Venus 团队与清华大学在 GitHub 开源 Realtime-Venus,一个支持全双工对话与异步任务委托的实时交互系统。系统包含三个组件:Realtime-Venus-Omni(9B,流式音视频对话与主动交互)、Realtime-Venus-Audio(9B,语音交互与音频理解)以及负责后台任务执行并将结果返回同一对话的 Harness 运行时。

    推荐理由:蚂蚁和清华开源了全双工对话加异步委托任务的系统,含 9B 的 Omni 与 Audio 两个模型和 Harness 运行时,可直接下载推理或跑浏览器 demo。

  2. OpenRouter:Announcements73

    DeepSeek V4 哪些型号支持图像输入?OpenRouter 逐款梳理与调用指南

    OpenRouter 梳理其目录中的 DeepSeek V4 系列图像输入支持情况:V4.1 Flash 原生读图(2026年9月10日上线,$0.15/$0.60 每百万 token)。

    推荐理由:原文逐一列出 DeepSeek V4 各型号是否支持图像输入、价格和调用方式,并给出文本-only 型号配视觉模型的两段式替代方案。

  3. Google Blog:AI63

    Google 发布 TranslateGemma 等多语言 AI 成果,语言技术覆盖 300 多种语言

    Google 宣布其语言技术已支持超过 300 种语言、覆盖全球 86% 人口,并发布 TranslateGemma 轻量开源翻译模型(基于 Gemini 训练、支持 55 种语言、可离线运行)。

    推荐理由:原文来自 Google 对其语言技术的系统性梳理,读者可以借此了解其多语言 AI 的技术路线和数据合作方式。

9月15日周二
  1. 公众号:生数科技67

    生数科技发布 Vidu S2:含 Avatar 与 Editing 双模型,探索空间视频

    生数科技正式发布 Vidu S2,包含面向数字角色实时交互的 Vidu S2-Avatar 和面向视频流实时编辑的 Vidu S2-Editing,并探索面向 VR 头显的实时空间视频生成与编辑。

    推荐理由:官方发布 Vidu S2 双模型,给出实时交互、编辑与空间视频的技术路线和评测数字,读者可对照判断其流式生成思路。

  2. Apple:Newsroom77

    Apple 发布新一代 Apple Intelligence,Siri AI 正式以测试版上线

    Apple 发布新一代 Apple Intelligence,推出全面重构的 Siri AI,支持个人语境理解、屏幕感知、系统级应用操作和跨设备对话,今日起以英文测试版随 2027 系统更新推出,下月扩展至法语、日语、韩语、葡萄牙语和西班牙语。

    推荐理由:官方公告完整列出 Siri AI 的能力清单、设备与语言范围,以及欧盟和中国市场暂不可用等限制,读者可据此评估适用性。

9月13日周日
  1. Suno:Blog75

    Suno 发布 v6 音乐模型,含 v6、v6-wild、v6-mini 三个版本

    Suno 发布新一代音乐模型 v6,与 Warner Music Group、BMG、Believe 等行业伙伴合作开发。v6 分为三个模型:面向 Pro 和 Premier 订阅用户的旗舰版 v6、偏探索风格的 v6-wild,以及面向所有人的更快版本 v6-mini;全系支持用自然语言局部编辑歌曲、多源混搭、采样分离、按氛围生成,并可从文本、音频、图像和视频创建音乐。

    推荐理由:官方发布完整列出了三个模型的定位差异和新的编辑控制能力,可据此判断音乐创作工作流会有哪些具体变化。

9月11日周五
  1. 公众号:卡尔的AI沃茨76

    实测 DeepSeek V4.1 Flash:价格大降、原生带视觉,作者用游戏与城市生成任务验证表现

    作者实测 DeepSeek V4.1 Flash,缓存命中输入降价 7 倍多、输出砍三分之二,9 月 14 日中午 12 点起所有发往 v4-pro 的请求将被强制路由到 4.1 Flash 并按其低价计费。

    推荐理由:作者实测 DeepSeek V4.1 Flash 的价格、架构参数和多个生成任务,并给出与 GLM 5.3 Flash 的对比结果和暴露的缺陷。

  2. WorkBuddy70

    WorkBuddy 宣布 DeepSeek V4.1-Flash 已在其平台上线,免费试用两周。引用的 DeepSeek 公告称 V4.1-Flash 已登陆 DeepSeek API 并支持原生多模态。

    引用DeepSeek@deepseek_ai

    ⚡ V4.1-Flash 现已在 DeepSeek API 上线,原生支持多模态。 将你的模型设置为 deepseek-flash。 🔹 V4-Flash 和 V4-Flash-Vision-Exp 已退役。为保持兼容,deepseek-v4-flash 和 deepseek-v4-flash-vision-exp 暂时路由至 V4.1-Flash。 🔹 多方测试表明,V4.1-Flash 在性能、成本、速度和总运行时间上均领先于 V4-Pro。我们正在逐步淘汰 V4-Pro。 🔹 自 2026 年 9 月 14 日 04:00 UTC 起,所有 deepseek-v4-pro 请求将按 V4.1-Flash 的费率路由至 V4.1-Flash。此安排将持续至 V4.1-Pro 发布。 🤝 官方合作伙伴 @WorkBuddy_AI(包括 Codebuddy)和 @opencode 现已全面支持 V4.1-Flash。今天就试试吧! 4/6

    推荐理由:WorkBuddy 官宣上线 DeepSeek V4.1-Flash 并给出两周免费入口,引用内容还说明了 V4-Pro 的退役与迁移安排。

9月10日周四
  1. Hugging Face 社区博客65

    Hugging Face 用 Gradio Workflow 重建 Workflow1111,复刻 AUTOMATIC1111 主要功能

    Hugging Face 发布 Workflow1111,用 gr.Workflow 以 73 个节点、11 条媒体管线重建 AUTOMATIC1111 的大部分功能,覆盖文本生成图像、高清修复、图生图、prompt matrix、VLM 反推提示词、检测生成 inpaint 蒙版、ControlNet 式预处理器、背景移除、PNG Info 和图生视频。

    推荐理由:原文展示用 Gradio Workflow 重建 AUTOMATIC1111 主要功能的具体做法,并给出 REST 与 MCP 入口,读者可评估它与 ComfyUI 的取舍。

  2. DeepSeek:API 更新日志80

    DeepSeek 发布 V4.1-Flash,API 价格同步下调

    DeepSeek 发布 DeepSeek-V4.1-Flash,是全新模型结构系列中最小尺寸的模型,具备原生多模态视觉理解能力,评测包括 GPQA Diamond 90.9、HLE 36.8、Codeforces Rating 3471、Terminal-Bench 2.1 90.6 等。

    推荐理由:官方发布附带完整评测数字和 API 切换细节,读者可据此判断新模型能力水平及旧模型下线对现有调用和计费的影响。

  3. Apple:Newsroom66

    Apple 发布首款折叠屏 iPhone Duo,起售价 $1,999

    Apple 发布首款折叠屏 iPhone Duo,展开为 7.6 英寸内屏,合盖后为 5.4 英寸外屏,提供 iPhone 上最大显示面积。搭载 A20 Pro 芯片和蒸汽室散热,iPhone 17 Pro 续航最高 44 小时视频播放,10 月 16 日开启预购、10 月 23 日发售,起售价 $1,999。

    推荐理由:官方完整披露了屏幕、铰链、A20 Pro、续航与售价等参数,读者可据此评估这款折叠 iPhone 的实际取舍。

  4. Cohere 产品与研究博客66

    Cohere 发布开源权重翻译模型 North Small Translate,WMT26 得分 83.60 超越 DeepL 与 Google Translate

    Cohere 发布机器翻译模型 North Small Translate,为 MoE 架构,总参数 218B、激活 25B,支持 50+ 语言,WMT26 全语言得分为 83.60,高于 DeepL NextGen 的 81.37 和 Google Translate 的 68.20,Agentic 版本达 84.36。

    推荐理由:官方公布了 WMT26 各语言和分区域得分、吞吐与单任务成本数据,读者可据此评估其相对 DeepL 和开源模型的位置。

9月9日周三
  1. OpenRouter:Announcements71

    OpenRouter 评测 Seedance 2.5:长镜头与已有素材编辑的场景及成本解析

    OpenRouter 发布对 ByteDance Seedance 2.5 视频模型的评测,该模型自 2026 年 8 月 7 日上线其视频 API,生成 4 到 30 秒、480p 或 720p 的片段,支持图像、视频、音频引用和首尾帧控制,音频同趟生成不加价。

    推荐理由:原文基于自家端点数据给出 Seedance 2.5 的计费公式、能力边界和与 Seedance 2.0、Wan 3.0、Veo 3.1 的逐项对比,便于按需求选型。

  2. OpenRouter:Announcements64

    OpenRouter 教程:用代码调用 Nano Banana 2 编辑图像

    OpenRouter 发布教程,演示通过 API 向 google/gemini-3.1-flash-image(即 Nano Banana 2)发送源图和文本指令完成图像编辑,编辑结果以 base64 形式在响应中返回。教程给出 Python 和 TypeScript 示例、提示词写法、多轮小步编辑方法,以及更换模型只需改一个字段,并介绍了 Nano Banana 系列四个成员的价格与质量差异。

    推荐理由:原文给出完整可运行的图像编辑请求代码和提示词写法,读者可以照搬并把模型换成其他供应商做对比。