跳到正文
#多模态
8月12日周三
  1. IT之家·人工智能49

    荣耀 Robot Phone 发布：全球首款机器人手机，搭载行业最小全钛云台架构

    荣耀在今晚的全球新品发布会上正式推出全球首款机器人手机——荣耀 Robot Phone。该机将 4DoF 机械臂装入机身，采用行业最小全钛云台架构、行业最轻及最快钛合金云台电机，并配备行业最强盾构钢翻转电机。荣耀称这是一次勇敢尝试，代表其探索 AI 终端未来的决心。

  2. IT之家·人工智能48

    荣耀 Robot Phone 手机搭载 Agentic OS，首发全新 YOYO Pro 模式

    荣耀 Robot Phone 全球发布会宣布，该机搭载 Agentic OS 新一代伙伴型多模态智能操作系统，首发全新 YOYO Pro 模式，由阿里千问大模型深度加持，支持超长任务执行、跨生态联动。该机提供星轨银和月影灰两款配色，采用 9.59mm 轻薄机身与 248g 全金属一体成型设计，配备 6.31 英寸屏幕、第五代骁龙 8 至尊版芯片及 7060mAh 青海湖电池。

  3. IT之家·人工智能71

    LTX-2.5 模型登场：AI 生成 10 秒 720P 视频仅需 6.8 秒，原生集成 ComfyUI

    LTX 推出 LTX-2.5 模型，原生集成 ComfyUI，在 2 张英伟达 GB200 配置下生成 10 秒 720P 视频仅需 6.8 秒。LTX-2.5 Fast 以每秒 0.09 美元生成带音频 720p 视频，10 秒片段成本 0.90 美元；年度经常性收入低于 1,000 万美元的组织可免费使用。

    推荐理由：生成速度比同类快数倍，且开放权重允许微调，对需要高频出片或自定义视觉风格的应用，其自托管成本可能低于调用闭源API。

  5. Demis Hassabis54

    Google 旗下 Gemini 应用月活跃用户突破 10 亿，成为公司史上增长最快的产品，也是第 14 个达到该里程碑的产品。Google CEO Sundar Pichai 与 DeepMind CEO Demis Hassabis 先后发文祝贺团队，并感谢用户支持。

    引用Sundar Pichai@sundarpichai

    1B+ people are now using @Geminiapp every month to spark new ideas and get things done. It’s our fastest growing product ever, and our 14th to hit the 1B-user mark. Kudos to @JoshWoodward & the entire Gemini team, and thank you to everyone who has been on this journey with us - much more to come!

  6. Google Blog：AI69

    AMIE 研究医疗 AI 系统首次展示实时临床视频问诊能力

    Google Research 与 Google DeepMind 推进医疗 AI 系统 AMIE，实现实时临床视频问诊，首次在此场景展示专家级 AI 能力。该系统基于 Gemini 和 Project Astra 构建，可解读视觉与听觉线索、引导虚拟体格检查并实时诊断推理。随机研究中，临床评估者对 AMIE 的病史采集、诊断准确性等核心能力给予好评，患者演员也更偏好视频体验。

    推荐理由：AMIE 在视频中融合视觉与听觉线索进行诊断，展示了多模态临床推理的可行性，对远程医疗产品方向有参考价值。

  7. LlamaIndex：产品、工程与评测45

    LlamaIndex 发布 OCR 自动化生产级落地指南

    文章探讨从基础文本提取到生产级文档处理流水线的差距，指出传统 OCR 在复杂场景下准确率下降的问题。对比了规则型、API 型和基于 LLM 编排的 Agentic 解析方案（如 LlamaParse），强调输入质量（分辨率、倾斜度）、置信度阈值设定及直通率（STP）是决定生产环境准确性的关键因素。

  8. Microsoft Research 博客55

    微软研究院发布CARE-X：面向临床放射学的统一视觉语言模型

    微软研究院推出CARE-X，一个用于胸部X光解读的统一视觉语言模型。该模型结合生成式与判别式能力，通过辅助监督、奖励对齐学习（DAPO）及工具增强测量，旨在解决现有VLM在诊断置信度校准、临床保真度优化及定量测量方面的不足。研究基于SigLIP2和Phi-4-mini架构，并在印度Narayana Health的真实临床数据上进行了验证。官方强调这是研究模型，非医疗产品，未获监管批准。

  9. Liquid AI 模型与工程博客67

    Liquid AI 发布 LFM2.5-VL-3B 边缘端视觉语言模型

    Liquid AI 发布 LFM2.5-VL-3B 视觉语言模型，屏幕理解 ScreenSpot-v2 平均 80.7，ToolSandbox 从 26.4 升至 59.5，RefCOCO 从 57.1 升至 87.9。

    推荐理由：官方给出与更大模型对比的基准数据和端侧、GPU 实测速度，读者可据此评估它在边缘部署场景的适用性。

8月11日周二
  3. MarkTechPost72

    用 ComfyUI API 实现 MiniMax-H3 多模态视频与音频生成流水线

    本教程演示如何以 ComfyUI 为无头推理后端，构建端到端的 MiniMax-H3 视频生成工作流。通过 Python 直接构建执行图，支持文生视频、首尾帧条件生成和参考图像条件生成，并自动根据 GPU 显存选择 quality、balanced、squeeze 三种权重配置。流水线涵盖模型自动下载、节点模式校验、音视频联合解码与进度监控，无需图形界面即可复现实验。

    推荐理由：用 Python 编程替代 ComfyUI 图形界面，在 Colab 上搭建 MiniMax-H3 视频生成管道，并自动适配不同 GPU 显存方案，教程提供的全流程代码可直接复用。

  4. 公众号：千问APP48

    千问开放AI眼镜生态，支持自建导游、教练、巡检等多种Skill

    千问开放平台上线，支持APP、PC和AI眼镜三端，在眼镜端提供技能平台和行业定制两大模块。开发者可调用眼镜拍照、语音交互等能力创建导游、教练等Skill，也可为视障群体开发“身边有什么”等辅助技能。平台面向行业客户提供巡检等定制能力，并计划陆续开放空间3D立体显示、运动健康状态感知等更多眼镜能力。

  7. Fei-Fei Li48

    李飞飞在与Huberman Lab的对谈中表示，所有工具都应增强人类能动性，AI也不例外。节目围绕“用AI提升智力与丰富人性”展开，涵盖计算机视觉、AI与科学发现及医疗、空间智能、World Labs等话题，并探讨了AI的伦理与社会影响。

    引用Andrew D. Huberman, Ph.D.@hubermanlab

    The new Huberman Lab episode is out: Using AI to Increase Your Intelligence & Enrich Humanity | Dr. Fei-Fei Li (@drfeifei) 0:00 Fei-Fei Li 3:46 Vision & Intelligence; Human Vision & Contribution to AI 12:11 Computer Vision & the AI Revolution 18:34 Sponsors: Lingo & Wealthfront 21:19 Speech, Sound & AI Development 23:36 AI & Contextual Learning, Human Intelligence 33:43 Current AI Gaps, Emotion & Creativity 45:48 Computers Enhancing Humanity; Tool: Personal Agency & Learning about AI 53:04 Sponsors: AG1 & LMNT 55:37 Public Discourse about AI 57:34 AI to Enhance Scientific Discovery & Healthcare; Human Collaboration 1:07:38 Intuition, Motivation & Human States Beyond AI 1:19:18 Sponsor: David 1:20:37 Social & Ethical Considerations for AI 1:27:38 Kids, Development & AI Tools; Tool: Prompt AI Effectively 1:35:04 Next Frontier for Robotics & AI; Human Agency 1:43:52 Human-Centered AI Future 1:50:10 World Labs, Spatial Intelligence 1:54:12 Concerns about AI & Creativity; Movies, Art, Storytelling 1:59:51 Younger Generation & AI, Teachers 2:05:38 Zero-Cost Support, YouTube, Spotify & Apple Follow, Reviews & Feedback, Sponsors, Protocols Book, Social Media, Neural Network Newsletter Includes paid partnerships.

8月10日周一
  1. Unsloth AI64

    Meta 发布 Apache 2.0 授权的开源 30B 密集视觉模型 Muse Glimmer，可在 18GB RAM/VRAM 环境运行，官方称其为同尺寸最强智能体模型，也是 Meta Superintelligence Labs 首个开放模型。

    引用Unsloth AI@UnslothAI

    Meta releases Muse Glimmer, a new 30B open model that runs on 18GB RAM. Muse Glimmer is Apache 2.0 licensed, supports vision and is the strongest agentic model for its size. Run and train the model via Unsloth. GGUF: https://huggingface.co/unsloth/Muse-Glimmer-30B-GGUF Guide: https://unsloth.ai/docs/models/muse-glimmer

  3. Rohan Paul44

    Qwen 发布多模态工具层 Qwen-MM-Plugins，将多模态操作打包为工具，供 Claude Code、Codex、Gemini CLI 等智能体框架调用。核心插件提供 read_image、OCR、视频转录、目标定位等能力，推动从多模态模型向多模态智能体演进。

    引用Qwen@Alibaba_Qwen

    👀 Seeing is just the beginning. With Qwen-MM-Plugins, turn your favorite agent harness multimodal-native — read images, videos & documents, edit videos, work with 3D/CAD, and more. From multimodal models → multimodal agents. 🚀 Watch it in action: https://github.com/QwenLM/Qwen-MM-Plugins

  5. MarkTechPost56

    字节跳动 Seed 团队发布 SeedRealtime：原生音视频全双工大模型，一个模型同时看、听、说

    字节跳动 Seed 团队推出 SeedRealtime，一款原生音视频全双工大模型，将音频、视频和文本统一在一个端到端架构中，并行处理感知、理解、决策与表达，并将轮次切换内化到模型内部，取代外部语音活动检测器。该模型已在豆包 App 中上线，但未发布技术报告、参数规模、开源权重或 API。字节内部人工评估显示，其节奏问题相比级联架构减半，但未提供基准分数或延迟数据。

  6. IT之家·人工智能52

    AI 盯上智能马桶：Throne Science、TOTO、Kohler 等布局排泄物健康分析

    智能马桶创业公司 Throne Science 完成 1000 万美元 A 轮融资，其产品 Throne One 通过 AI 摄像头分析排泄物状态、尿液颜色及如厕习惯。TOTO 已在日本推出 Stool Scan，计划 2027 年初引入美国；Kohler 的 Dekoda 可检测血液迹象和脱水情况。目前相关产品仍定位为健康管理设备，专家认为“炒作有些超前于科学”。

  7. MiniMax (official)68

    MiniMax H3 开源多模态视频生成模型在 ComfyUI 直播中亮相，支持文本、图像、视频和音频输入，可生成最长 15 秒 768p 视频片段，并原生同步生成含对话、音效和音乐的立体声音频。托管版 H3 支持最高 2K 分辨率生成，模型已优化至可在消费级 GPU 上本地部署，并提供 Context-IR 与 Regenerate-2K API 工作流。

    引用ComfyUI@ComfyUI

    Livestream Update: @MiniMax_AI H3: A New Open-Weight Video Model, Live in ComfyUI MiniMax H3 is an open-weight, general-purpose multimodal video generation model that works across text, images, video, and audio. In ComfyUI, you can use H3 for text-to-video, image-to-video, first- and last-frame generation, and reference-driven creation. H3 jointly generates the visuals and synchronized stereo audio, including dialogue, sound effects, ambience, and music, rather than adding audio afterward. The open-weight H3 checkpoints support clips up to 15 seconds at 768p. MiniMax’s hosted H3 model also supports generation at up to 2K resolution. During the stream, we’ll test the model live and discuss how H3 brings multiple generation tasks into one architecture, how its high-compression video representation improves efficiency, and what developers should know when setting it up locally through ComfyUI. What we'll cover: →MiniMax H3: open weights, native stereo audio, up to 2K/15s clips →Live demo →How H3 got small enough to run on consumer hardware →ComfyUI workflow templates for H3 →Local workflow: use the H3 Context-IR API (https://platform.minimax.io/docs/api-..., generate locally at 768p, and use the H3 Regenerate-2K API

  8. Qwen71

    👀 看见只是开始。 借助 Qwen-MM-Plugins，让你的智能体原生支持多模态——读取图片、视频和文档，编辑视频，处理 3D/CAD，以及更多。 从多模态模型 → 多模态智能体。🚀 观看实际效果：https://github.com/QwenLM/Qwen-MM-Plugins

    推荐理由：让智能体直接获得视觉、文档和 3D 感知能力，把原本需要单独集成的工作流变成一组可调用的插件，原型开发速度可能因此加快。

  9. MarkTechPost75

    NVIDIA 发布 NemotronLabs VoiceChat 11B：开源全双工语音模型，支持约 450 毫秒轮换与实时工具调用

    NVIDIA 发布开源端到端全双工语音对话模型 NemotronLabs VoiceChat 11B，在统一网络中完成流式语音理解与生成，实测轮换延迟 448 毫秒。该模型为首个支持对话中工具调用的开源全双工模型，通过独立输出通道及预置“保持”话术避免 API 执行期间冷场。权重与容器已公开，但仅限研究用途，需单张 80 GB 显存 GPU，目前无托管 API。

    推荐理由：端到端语音模型消除级联延迟，而工具调用侧通道和保留消息设计在不中断对话的前提下补齐了API等待期，让实时语音智能体更容易工程化。

8月9日周日
8月8日周六
  1. The Decoder：AI News59

    Backflip AI 发布第二代 CAD 生成模型，将 3D 扫描转为可编辑 CAD 模型仅需数分钟

    Backflip AI 发布第二代 CAD 生成模型，可将 3D 扫描和网格文件转换为完全可编辑的参数化 CAD 模型，耗时从数小时缩短至几分钟。与仅生成三角面网格的早期模型不同，该模型能生成拉伸、旋转等实际 CAD 操作，结果易于修改。工具以 Autodesk Fusion 插件形式运行，前四次重建免费，付费计划每月 20 美元起。

  2. IT之家·人工智能76

    苹果 Mac 简体中文支持文档更新，“Apple 智能”阿里千问扩展现身

    苹果官网 Mac 简体中文使用手册新增《在 Mac 上配合 Apple 智能使用千问》支持文档，明确 Apple 智能可配合阿里巴巴千问模型工作。千问扩展适用于 macOS 26.6 或更高版本，需中国大陆 Apple 账户及机型，支持写作工具与 Siri，用户需登录千问账户使用。

    推荐理由：苹果智能在中国大陆的落地路径终于清晰，支持文档揭示了写作工具和Siri集成千问的具体方式，Mac用户将能在系统级直接使用大模型能力。

  3. IT之家·人工智能57

    微信 AI 助手“小微”灰度测试朋友圈“帮写”及“点评”功能

    微信正在灰度测试朋友圈“AI 帮写”与“AI 点评”两项新能力，基于原生 AI 助手“小微”实现，目前小范围内测中。用户在朋友圈编辑页点击“AI 帮写”后会跳转至小微对话界面，小微可识别正在编辑的文字和配图，按指令生成“简洁”“调侃”“文艺”三种风格候选文案。当前灰测版本中，最终发布可能仍需用户手动确认。

  7. MarkTechPost68

    用 NVIDIA NeMo Retriever 构建多模态 RAG 流水线：托管 NIM、LanceDB、重排序与 grounded 生成

    本教程演示如何用 NVIDIA NeMo Retriever 构建多模态 RAG 流水线：先以 PDFium 离线提取 PDF 文本，再通过托管 NIM 端点检测页面元素、抽取表格/图表/信息图并生成稠密向量存入 LanceDB。随后实现稠密检索、视觉-语言重排序、元数据过滤搜索及带内联引用的 grounded 生成，并用 recall-at-k 评估检索质量。

  8. The Decoder：AI News45

    AI 音乐生成器 Suno 收紧规则以打击垃圾信息并应对版权争议

    Suno 正面临使用受版权保护材料训练的指控，德国法院近期裁定其未经许可使用受版权保护歌曲进行训练，且美国合理使用原则不适用于此案。为此，Suno 推出新下载政策以限制批量分发，并强调其“原创创作”训练策略，包括从训练元数据中剔除艺术家姓名，以及与 Audible Magic 等第三方合作检查上传内容。

8月7日周五
  1. 公众号：昆仑万维57

    SkyProduction天工短剧工作台接入Seedance 2.5，720P低至0.4元/秒

    SkyProduction天工短剧工作台正式接入Seedance 2.5，720P低至0.4元/秒、480P低至0.3元/秒，支持单段最长30秒视频直出、50个参考素材及10余种语言。同期推出“短剧出海转绘”功能，可将中文短剧快速本土化为欧美市场内容；三部通过该工作台创作的AI短剧已上线DramaWave，单部营收均达200万美元级别。