跳到正文
#多模态
8月7日周五
  3. IT之家·人工智能46

    影石 GO Ultra 上线 AI 语音助手，分区域接入阿里千问和 Gemini

    影石 Insta360 今日为 GO Ultra 拇指相机上线 AI 语音助手，中国大陆接入阿里千问大模型，中国港澳台及海外使用 Google Gemini，翻译结果可通过机身扬声器播报。该助手以影石自研为核心，端侧完成声纹识别与意图判断，云端承担问答、模式切换等任务，集成面对面互译、拍图问答、语音问答三项能力，支持“Hey Kira”或长按拍摄键唤醒。

  4. Rohan Paul44

    彭博社报道，OpenAI 首款消费设备是一款冰球大小的无屏 AI 音箱，定价 300-400 美元，计划 2027 年发布。设备采用环形设计，内置电池、麦克风、摄像头及灯光运动部件，以灯光和动作作为交互界面，并通过摄像头感知周围视觉环境、随时间学习用户偏好。该音箱是 OpenAI 设备家族首款产品，最终目标是取代智能手机的硬件。

  6. The Verge：AI46

    Suno 公布打击垃圾 AI 音乐计划：新水印技术与下载政策

    Suno 宣布将实施新的水印技术和下载政策，以限制垃圾 AI 曲目传播并提高透明度。CEO Mikey Shulman 在博客中表示，新水印和指纹识别技术符合“新兴行业标准”，并计划与分发平台合作打击欺诈和滥用。去年与华纳音乐集团和解后，Suno 曾宣布下载将仅限付费订阅用户，并设置每月下载上限。

  7. IT之家·人工智能68

    ChatGPT 现可调用 Photoshop、Lightroom 等 70 多款 Adobe 工具修图设计

    Adobe 将旗下创意软件插件引入 ChatGPT，用户安装后可直接在对话中调用 Photoshop、Premiere、Lightroom、Illustrator 等 70 多款工具。在提示词中输入“@Adobe”加具体任务即可操作，插件与 Codex 及 Work 套件配合效果最佳。不登录 Creative Cloud 也能用基本功能，登录后可保存进度并调用 Firefly 生成式 AI 模型。

8月6日周四
  1. NVIDIA Blog71

    NVIDIA Cosmos 3：开放世界模型如何推动物理 AI 前沿

    NVIDIA 发布 Cosmos 3，一个基于混合 Transformer 架构的开放物理 AI 基础全模态模型，整合视觉推理、世界生成与动作预测。

    推荐理由：介绍 Cosmos 3 作为开放物理 AI 基础模型的架构、基准表现和行业用例，为需要定制世界模型的机器人、自动驾驶和视觉 AI 团队提供了可直接参考的技术路线。

  2. OpenBMB65

    面壁智能 OpenBMB 在 #BuildSmall 黑客松推出 AMNESIAC，一款反向图灵测试交互游戏：玩家需说服 AI 审讯官 A.M.N. 自己是人类。该游戏由 MiniCPM-o 4.5 驱动实时对话与推理，VoxCPM 生成审讯官语音，并结合摄像头面部表情、脉搏信号与响应计时进行多模态审讯。项目已开源至 HuggingFace。

    推荐理由：将摄像头面部信号、语音对话和LoRA角色塑形组合进一个可玩演示，为交互式AI角色提供了比常见聊天机器人更丰富的多模态模板。

  5. MiniMax (official)66

    MiniMax H3 在 Design Arena 视频评测中拿下多图生视频、图生视频和视频编辑三项第一，超越 Seedance 2.0、Grok Imagine Video 1.5 Preview 和 Gemini Omni Flash。该模型为开源权重，延续了 Kimi K3 在编程类别夺冠后开源模型主导榜单的趋势。

    引用Design Arena@DesignArena

    BREAKING: MiniMax H3 by @MiniMax_AI is 1st across 3 Video categories (Multi-Image to Video, Image to Video, and Video Editing) on Design Arena. MiniMax H3’s performance in Video Arena puts it ahead of other top performing models like Seedance 2.0 by @BytePlusGlobal, Grok Imagine Video 1.5 Preview by @SpaceXAI, and Gemini Omni Flash by @GoogleDeepMind. This marks another category to be led by open-weight models, following Kimi K3’s first place in our coding categories. Congratulations to the @MiniMax_AI team for establishing a new SOTA in video generation!

8月5日周三
  2. MarkTechPost79

    NVIDIA 发布 Alpamayo 2 Super：面向 Robotaxi 与自动驾驶的 34B 开源视觉-语言-动作模型

    NVIDIA 发布 Alpamayo 2 Super，一款 34B 参数的视觉-语言-动作（VLA）模型，专为自动驾驶长尾事件设计，权重采用 Linux 基金会 OpenMDW-1.1 许可，代码为 Apache 2.0，发布首日即可商用。

    推荐理由：轨迹与因果解释同时输出，可接入Halos安全验证，自动驾驶团队据此向监管证明决策合理性，减少黑盒依赖。

  3. IT之家·人工智能55

    卡帕西提出 AI 能力测试新思路：100 万 Tokens 让 Claude Opus 5 构建《指环王》3D 交互场景

    OpenAI 联合创始人卡帕西提出 AI 基准测试新思路：向模型提供《指环王》开篇首段文字，要求其创建可交互的 3D 世界。他以 100 万 tokens（成本约 10 美元）为额度，让 Claude Opus 5 用 three.js 构建场景，模型耗时约 2 小时输出约 5500 行代码，生成作品呈现比尔博告别宴会等画面，完成度较高。

  4. IT之家·人工智能70

    字节跳动发布音视频全双工大模型 SeedRealtime，已上线豆包 App

    字节跳动 Seed 今日推出原生音视频全双工大模型 SeedRealtime，用统一架构融合音频、视频与文本，支持“边看、边听、边说”的实时交互。端到端评测显示，相比级联模型，其音视频对话节奏问题减少一半。该模型已在豆包 App 全量上线，更新至最新版本后可在对话框选择“打电话”体验。

  5. 字节 Seed：Research Feed78

    字节 Seed 发布 SeedRealtime 音视频全双工大模型，走向全模态自然交互

    字节 Seed 发布 SeedRealtime，用统一架构原生融合音频、视频与文本，实现“边看、边听、边说”的实时交互。相比级联模型，其音视频对话节奏问题减少一半，并已在豆包 App 全量上线，率先实现音视频全双工技术的规模化落地。

    推荐理由：SeedRealtime 将音视频感知与表达统一到同一端到端模型中，级联系统常见的说话节奏问题减少了一半，实时场景中能主动提醒并自然停顿，为全模态智能助手交互提供了新的技术路线。

  7. Qwen68

    阿里通义千问发布 Qwen-Image-3.0-Pro 与 Standard，现已在 Qwen Cloud 上线。该模型在 Arena 文生图榜单中位列中国模型第一、主流模型第二，支持 4.5k-token 提示词、10px 级文字渲染及 12 种语言。Pro 版起价 $0.04/张，Standard 版起价 $0.03/张。

    引用Qwen Cloud@qwen_cloud

    🔔 Qwen-Image-3.0 现已在 Qwen Cloud 上线！ 在 Arena. ai 的文生图竞技场 @arena 中，位列中国模型第 1 名、主流模型第 2 名，现在只需一次 API 调用即可使用。 - 支持高达 4.5k token 的提示词：一次生成报纸、故事板、菜单、试卷 - 文字清晰度低至 10px，细节近乎照片级 - 支持 12 种语言、100+ 种艺术风格，逼真的 UI 模拟 - 生成 + 编辑集于一个模型 💰价格： Qwen-Image-3.0 Pro — 最适合复杂布局、精准文字渲染和商业级视觉，每张图起价 $0.04。 Qwen-Image-3.0 Standard — 适合批量、日常图像生成，每张图起价仅 $0.03。 Qwen-Image-3.0-Pro 与 Standard。从提示词到可直接投产的图像。 👉 在 Qwen Cloud 上试用并获取你的 API key：https://www.qwencloud.com/models/qwen-image-3.0-pro?utm_content=g_20000001188 - 主流模型 = 日均 MaaS API 调用量超过 10 万的模型系列 #QwenCloud #Qwen

    推荐理由：生成与编辑合并在单一模型内，多语言长文本排版的门槛和每次调用成本都明显降低。

  12. OpenRouter66

    @bfl_ai 的 FLUX 3 Video 现已在 OpenRouter 上向所有人开放。 一个统一的视频、音频、图像和动作预测多模态模型家族。严肃、有趣、创意、真实、电影感，随你所需。基于统一架构联合训练。

    推荐理由：联合训练的统一架构下，视频生成与图像、音频共享基础能力，跨模态创作的结果可能更连贯，改变了单独优化各模态的传统思路。

  14. SenseTime67

    商汤发布开源模型 SenseNova U1，可在统一流程中同时进行推理与图像生成。其信息图模式可将单条提示词转为结构化幻灯片，交错模式则逐步生成图文内容，如演示六步画龙教程。模型已上线 SenseNova Studio、HuggingFace 及 GitHub。

    推荐理由：把推理和图像生成整合进单一模型流，信息图模式和逐步教程展示了从推理到可视化的直接路径，为需要图文连贯输出的应用提供了可探索的开源方案。

  15. LlamaIndex：产品、工程与评测45

    LlamaIndex 博客：智能 OCR 与生产级文档理解架构

    文章探讨了从传统 OCR 到智能 OCR（Intelligent OCR）的演进，指出传统 OCR 仅识别字符而缺乏结构语义。智能 OCR 结合机器学习、布局感知和视觉语言模型，将文档转化为结构化数据并进行验证。文中分析了企业环境中传统 OCR 失效的原因，并介绍了包含分类、提取、验证及代理工作流的生产级管道架构。

  16. LlamaIndex：产品、工程与评测66

    LlamaIndex：文档 OCR 不会被前沿模型商品化，LlamaParse Agentic 以 84.9% 领先

    LlamaIndex 发文反驳文档 OCR 正被前沿模型商品化的观点，称帕累托前沿仍远高于最新前沿模型。其开源的 ParseBench（约 2,000 个人工核验的企业页面、167,000+ 条测试规则）显示，GPT-4o 到 GPT-5.5 三代模型解析准确率提升约 24 分但每页成本约翻四倍，最新最贵模型仍比专用前沿低 20 分。

    推荐理由：文章用 ParseBench 数据论证文档 OCR 不会被前沿模型商品化，并给出路由、蒸馏、文本层复用等可迁移的工程方法。

8月4日周二
  2. Mistral AI：News63

    Mistral 开源 3B 多模态安全分类器 Shieldstral，支持推理时自定义政策无需重训

    Mistral 发布 3B 开源权重多模态安全分类器 Shieldstral，以 Apache 2.0 协议开放下载。它把内容审核建模为政策自适应问答任务，推理时用自然语言问题传入政策即可返回校准的安全分数，无需重训练，统一覆盖文本、图像及 prompt-response 对的审核、拒答检测和毒性检测。

    推荐理由：原文给出了把内容审核改为推理时自适应问答的方法、数据构建思路和基准表现，适合想自建安全审核方案的开发者参考。

  4. IT之家·人工智能53

    消息称影石 AI 硬件将接入阿里千问大模型，率先落地于 Go Ultra 系列口袋相机

    影石 Insta360 将为旗下产品新增 AI 语音助手功能，率先落地于 Go Ultra 系列。该助手以影石自研为核心，融合阿里千问多模态模型能力，中国港澳台及海外地区调用谷歌 Gemini，中国大陆接入阿里千问，翻译结果可通过机身扬声器播报。影石官方已宣布 Go Ultra 将于 8 月 5 日迎来大更新，内部代号“Kira”的语音助手或是发布主题。

  5. IT之家·人工智能62

    腾讯混元发布语音识别模型 Hy ASR 3.0 preview，元宝已首发上线

    腾讯混元发布新一代语音识别模型 Hy ASR 3.0 preview，基于 Hy3 大语言模型，融合高精度语音识别与深度语义理解。该模型在开源评测集上中文普通话 WER 3.34%、英语 WER 2.62%、粤语 WER 3.12%。元宝已首发上线该模型，支持方言识别、上下文智能纠错等功能且免费开放，并已上线腾讯云提供 API 服务。

  6. Rohan Paul62

    MakePlay 正式上线，让创作者用自然语言描述游戏，系统自动生成可玩的浏览器版本，后续指令可直接修改玩法、画面和音效，无需切换环境。其核心是共享运行中的游戏本体，协调代码、美术、音乐等各环节，避免传统开发中多次交接丢失上下文。完全免费，支持 FPS、开放世界、竞速、解谜等多种类型。

    引用Makeplay.ai | Free AI Game Maker@makeplayai

    MakePlay is officially live! You don't write code. You direct games. 🎬 Type one sentence — "a shiba pixel runner with double jump" — and an AI crew builds the whole thing: code, art, music, sound effects, level design, all at once. No engine, no assets, no setup. From FPS to open world — racing, puzzle, space shooter, platformer. Then keep directing in plain language. Make the boss slower. Make the music heavier. Soften the jump sound. Completely free. Runs in any browser. 🕹️ https://makeplay.ai/?utm_source=twitter

  8. 公众号：MiniMax48

    MiniMax H3 开源 24 小时，超百家企业 Day 0 上线

    MiniMax H3 开源 24 小时内，华为昇腾、AMD、Intel 等 9 家国内外芯片厂商完成 Day 0 适配，Hugging Face、魔搭、ComfyUI、vLLM-Omni、SGLang、腾讯云等超百家合作伙伴 Day 0 上线。在 Artificial Analysis 所有视频评测榜单中，H3 均跻身全球前三，并在质量/价格象限中进入最优梯队，为中国模型最佳表现。

  11. MiniMax (official)48

    MiniMax H3在Video Arena和Artificial Analysis基准中成为SOTA开源视频生成模型，在文生视频和图生视频两项均排名第一。其得分较第二名开源模型hunyuan-video-1.5高出280分，图生视频得分1476，仅比Dreamina Seedance-2.0低2分。

    引用Arena.ai@arena

    Big news: MiniMax-H3 by @MiniMax_AI is now the #1 open model in Video Arena: across both Text-to-Video and Image-to-Video. This is +280pts over the next best open model, hunyuan-video-1.5, and a huge improvement from Hailuo-2.3 at #27 (1199 pts) and Hailuo-02-pro at #28 (1197 pts). In Image-to-Video specifically, it scored 1476 pts, just 2 pts away from Dreamina Seedance-2.0 (1478), making it tied for#1 overall! Learn more about how MiniMax-H3 performed in Text-to-Video Arena in thread.

  12. Greg Brockman66

    GPT-Live 是一种用于实时音频的新架构和栈： GPT-Live 可以在说话的同时聆听。 为了让这种体验在 ChatGPT 规模下显得自然，我们从客户端到模型重建了语音栈。 这一新架构让音频持续流动，因此更深入的推理和工具使用不会打断对话。

    引用OpenAI@OpenAI

    GPT-Live 可以边说边听。 为了让这在 ChatGPT 规模下显得自然，我们从头重建了从客户端到模型的语音技术栈。 这一新架构让音频持续流动，因此更深入的推理和工具调用不会打断对话。

    推荐理由：在 GPT-Live 架构下推理与工具调用期间音频流不间断，语音交互的等待感和打断感被显著消除，适用于需要持续对话的陪伴和协作场景。