跳到正文
#多模态
5月4日周一
5月3日周日
  1. IT之家·人工智能50

    继“液态玻璃”之后：苹果 iOS 27 将重心转向 AI，Siri 迎来独立 App 并将深度整合到相机应用中

    据报道，苹果下一代操作系统iOS 27将聚焦AI与性能提升。Siri将迎来诞生以来最重大的形态转变，被重塑为拥有独立App的聊天机器人，界面酷似iMessage，支持集成第三方智能体，并具备单指令处理多任务、跨App联动及文件分析等能力。同时，AI将深度整合至相机应用，新增独立的“Siri模式”，支持通过镜头实时识别食品营养信息、提取联系人等。照片编辑功能也将获得AI驱动的新工具。

  2. IT之家·人工智能59

    国内首部院线 AI 原生动画电影将至，《三星堆：未来往事》获颁“龙标”

    国内首部AI原生动画院线电影《三星堆：未来往事》已获得公映许可证，即将登陆全国影院。该片深度结合三星堆古蜀文明与AI技术，以AI呈现文物，构建连接过去与未来的科幻世界。其概念预告片已在香港国际影视展亮相，创作脉络可追溯至2024年上线的同系列AI科幻短剧《三星堆·未来启示录》第一季，该短剧全网播放量已达1.6亿次。

  3. Rohan Paul48

    Chatly近日发布Omni Agent，其核心理念是超越聊天，转向工作流组装。该产品采用多智能体路由机制，可将用户设定的目标自动分解，并分配给不同的专业智能体协同完成多元化任务，如邮件营销、演示文稿、落地页设计等。它具备强大的记忆层，能持续学习并复用用户的品牌信息、偏好、项目规则等上下文。通过原生工作空间集成，AI可直接在用户现有的文件、任务和活动环境中操作。产品提供Think、Pro、Ultra三个层级，旨在通过统一界面整合深度研究、多媒体生成与记忆功能，让用户从使用工具转向指挥智能体。

    引用Chatly@chatlyhq

    Introducing "Omni Agent". The only AI you'll ever need. One ecosystem. Three tiers. Infinite possibilities. Think. Pro. Ultra. Whether you're exploring ideas, building a brand, or running an entire operation, there's a tier engineered for the way you work. Deep research, multimedia generation, native workspace integrations, and a memory layer that grows with you, all unified into one seamless interface. Stop using tools. Start commanding intelligence. Try Omni Agent → https://chatlyai.app/agent

5月2日周六
  1. Elon Musk61

    试试 Grok Imagine 智能体模式测试版！ 在 @imagine 智能体模式中，你可以在同一页面内进行头脑风暴、写作、生成和编辑图像，然后将它们转化为视频。 请在桌面端访问 http://grok.com/imagine 尝试。

    引用Grok Imagine@imagine

    Your entire creative workflow just collapsed into one infinite canvas. In @imagine Agent Mode, you can brainstorm, write, generate and edit images, then turn them into videos without leaving the page. Try it at http://grok.com/imagine, on desktop.

  2. Tomasz Tunguz 博客57

    本周的积极信号：AI在医疗、教育、农业与科研领域的突破性进展

    近期多项进展展现了AI的巨大积极影响。医疗领域，Mayo Clinic的AI能通过常规CT提前最多三年检测胰腺癌，强生利用AI将新药线索生成时间减半。教育方面，哈佛研究显示AI导师使学生学习效果翻倍，泰国培训16万名教师惠及330万学生。农业上，AI能以约88%准确率预测害虫爆发。科研中，AI快速筛查NASA数据，新发现超一万颗系外行星候选。此外，香港推出AI洪水预报系统，Atlassian和Twilio等公司也因AI驱动业绩增长并上调预期。这些案例平衡了AI风险，凸显其创新潜力。

    推荐理由：Tomer 收集了最近两周 AI 在医学、教育、农业的硬核落地案例，对反 AI 恐慌是一剂清醒剂，SaaS 公司的营收也说明行业在回暖。

5月1日周五
  1. PixVerse49

    主推文感谢了用户@TomLikesRobots分享的文本生成视频模型对比。对比在SeeDance 2.0和HappyHorse 1.0之间进行，使用了统一的提示词来生成具有低保真、温馨、赛璐珞风格动漫美学的视频。其中，HappyHorse由@PixVerse_提供，目前对会员免费。由于两个模型自带的音频效果不佳，创作者最终使用@Suno来生成背景音轨。

    引用TomLikesRobots🤖@TomLikesRobots

    SeeDance 2.0 vs HappyHorse 1.0 Very quick text-to_video comparison. Which do you prefer? Universal Prompt: "Aesthetic: lofi, cozy, warm tones, soft film grain, gentle bloom, analog textures. Camera default: 35 to 50mm equivalent, shallow depth of field, slow subtle moves, cut length 0.6 to 1.2 seconds. Style: Cozy cel-shaded anime." Thanks to @PixVerse_ for HappyHorse generations which are currently free to members. lofi audio tracks were pretty poor for both so I used @Suno for audio.

  2. IT之家·人工智能45

    IT早报 0501：追觅 CEO 要求员工开通社媒账号；OPPO 将推四曲面手机；iPhone 18 Pro 相机大升级

    本期IT早报主要内容包括：追觅科技CEO要求全体员工开通社交媒体账号并发布视频；OPPO计划下半年推出效仿苹果风格的四曲面设计手机；iPhone 18 Pro系列或将迎来史上最大相机硬件升级。此外，极越汽车关联主体进入合并重整程序，DeepSeek发布多模态模型技术报告，央视曝光部分充电头功率虚标，宇树发布起售价2.69万元的双臂人形机器人，比亚迪与高德地图达成充电合作，支付宝等17家支付机构牌照获续展，华为鸿蒙新版本占比提升，以及小米大屏旗舰手机预计5月下旬发布。

  4. Luma60

    为你的网站寻找外观。同时探索每个方向。 定义目标，设定美学风格，然后让Luma Agents构建每个元素。英雄区域。文案。视觉效果。布局。所有内容都经过结构化设计，从首次滚动开始就旨在实现转化。 立即构建 → http://lumalabs.ai/app

    推荐理由：Luma 从视频生成跨到建站，用 Agent 一次性生成整站，描述即站点，对想快速验证品牌页面的创业者是个有趣的新工具。

  6. Rohan Paul61

    Google DeepMind 近日发布 AI co-clinician 协诊系统，这是一个多模态代理系统，旨在辅助医护人员，并在医生监督下运行。系统采用双代理架构：一个模块与患者对话，另一模块实时监控交互边界，能检索并验证临床级证据。在开放式药物问答中，其表现超越前沿模型，更贴合真实医疗场景的复杂性。评估聚焦临床实际关切，如避免错误陈述或遗漏关键信息。在98项初级保健模拟查询中，医生对其偏好超过主流证据合成工具；在97例NOHARM风格评估中未出现严重错误。

    引用Google DeepMind@GoogleDeepMind

    AI co-clinician is our new research initiative to help explore how multimodal agents could better support healthcare workers and patients. 🩺 Here’s a snapshot of our progress 🧵

  7. Google Developers Blog62

    基于Gemini Embedding 2构建：智能多模态RAG及其他应用

    Google正式发布Gemini Embedding 2统一嵌入模型，该模型能将文本、图像、视频、音频和文档映射到同一语义空间。开发者可通过单请求处理交织多模态输入，显著提升智能RAG、视觉搜索等内容审核任务的性能。模型支持超100种语言，并提供任务特定前缀和马特廖什卡降维等特性，为构建复杂AI智能体提供高效精准的基础。

    推荐理由：开发者做多模态RAG的苦日子结束了，Gemini Embedding 2把文本、图片、视频塞进同一个语义空间，还自带Matryoshka降维，直接省掉一堆胶水代码。

  8. Google AI69

    谷歌上周正式向公众发布了其首个原生多模态嵌入模型Gemini Embedding 2。该模型如同“通用翻译器”，能将文本、图像、视频和音频数据转化为独特的数字向量。其核心突破在于不再依赖关键词匹配，而是基于语义将不同模态的数据映射到同一空间，从而理解内容间的深层联系。开发者已利用该模型构建视频分析工具、视觉购物助手等应用，实现通过拍照或描述场景进行智能搜索的功能。模型现可通过Gemini API或Gemini Enterprise Agent平台使用。

    推荐理由：Google 第一个原生多模态嵌入模型，把文本、图像、视频拉到同一个向量空间，做跨模态搜索的开发者可以不用再手动打标签了，但离「无感理解」还有距离。

  10. Artificial Analysis64

    阿里巴巴开源了Qwen3.6系列两款模型：27B密集模型和35B A3B混合专家模型。其中，Qwen3.6 27B在Artificial Analysis智能指数上得分46，成为150B参数以下最智能的开源模型，领先于Gemma 4 31B等。但其运行完整测试消耗的输出token约为后者的3.7倍，成本高出约21倍。两款模型均采用Apache 2.0许可，支持262K上下文，具备多模态能力。值得注意的是，其幻觉率较前代大幅下降，但准确率基本持平。更大的Plus和Max Preview版本未开源。

4月30日周四
  2. SenseTime59

    SenseNova U1 Lite Series是新一代原生统一的多模态模型，在紧凑的8B/A3B规模下提供商业级性能。其核心能力包括复杂信息图生成，具备强语义完整性和像素级精度；高布局一致性，实现准确可靠的文本渲染；以及行业首创的连续图像-文本生成，支持统一推理和一致视觉风格。该模型现已完全开源，相关代码和资源可通过GitHub、Hugging Face等平台获取。

  3. IT之家·人工智能72

    DeepSeek 公布多模态模型技术报告

    DeepSeek发布了多模态大模型及技术报告，提出创新的“基于视觉原语的思考”框架。该框架将点、边界框等视觉元素作为推理的基本单元，旨在解决多模态模型在空间参照任务中存在的“参照鸿沟”核心问题，使模型能将抽象认知锚定到图像的具体坐标上。尽管模型规模紧凑且图像标记预算较低，其在多项挑战性计数和空间推理基准测试上的性能，可与GPT-5.4等前沿模型相媲美。

    推荐理由：DeepSeek 把视觉概念直接变成推理单元，绕开了语言描述空间的先天模糊，在空间推理上把自家紧凑模型拉到和 GPT-5.4 一个水平，做多模态应用的人值得细读。

  4. IT之家·人工智能50

    索尼新专利：AI 根据玩家情绪实时调整游戏难度

    索尼获批一项AI动态关卡生成专利。系统通过分析玩家行为判断其策略倾向（如潜行或进攻），并生成匹配的初始关卡。其核心是“反向挑战”机制：当玩家在擅长领域持续成功时，系统会切换关卡类型，针对其优势提出新挑战，以打破静态进度。同时，系统内置情绪监测，一旦检测到玩家过度受挫，会自动回调难度至适配其个人风格的状态。该技术旨在通过“支持-挑战-回调”的动态循环，平衡游戏挑战性与用户体验，防止玩家流失。

  5. IT之家·人工智能48

    打破纯文本限制，微软 OneNote 内置 AI 现支持理解表格 / 图像等

    微软于4月29日宣布，为拥有Microsoft 365 Copilot许可的用户在Windows、macOS及iOS平台的OneNote应用推出AI功能更新。新版内置Copilot AI突破纯文本限制，新增对表格、图像及标签的理解与分析能力。例如在规划旅行时，AI可综合分析行程表格、检查清单和景点照片，智能排查行程漏洞并提供优化建议。该更新通过服务器端推送自动部署，用户无需手动更新，只需确保设备版本符合要求即可。

  6. Apple Machine Learning Research47

    利用 Sign Language Models 自举标注手语注释

    研究团队开发了一套手语伪标注流程，以解决高质量标注数据匮乏对AI手语翻译发展的限制。该流程以手语视频和英文文本为输入，输出包括时间区间在内的可能注释排序集合，涵盖手势词、手指拼写单词和手语分类器。新发布的ASL STEM Wiki和FLEURS-ASL等数据集虽包含数百小时专业译员数据，但因标注成本过高仅实现部分标注。该自举方法旨在显著提升大规模手语数据的利用效率。

  7. OpenRouter：Announcements54

    April Release Spotlight

    本月发布聚焦视频生成、工作空间、智能体SDK与重排序模型。多家公司推出前沿大模型，包括GPT、Claude和LLaMA系列的新版本。核心变化体现在模型多模态能力增强，特别是视频生成功能成为竞争焦点。部分新模型在标准基准测试中性能提升超过15%，同时上下文窗口扩展至百万token级别。开发者工具方面，新的智能体SDK支持更复杂的任务编排，而重排序模型显著提升了检索精度。

  8. IT之家·人工智能45

    苹果 AI 眼镜曝光：内置 2 颗摄像头、支持 Siri 智能交互、可手势控制

    据报道，苹果正加速研发其首款智能眼镜，预计与Meta Ray-Bans等产品竞争。该产品定位并非完整AR设备，核心聚焦于拍摄、语音助手和手势控制。硬件上配备两颗摄像头：高分辨率主摄用于拍照录像，低分辨率广角镜头则用于手势识别并为Siri提供环境视觉。为保障续航与轻薄，眼镜不内置显示屏及LiDAR等模块，并采用醋酸纤维材料提升佩戴舒适度。系统将搭载更智能的Siri，支持拍照、通话及环境交互。产品可能于2026年晚些时候预览，2027年正式上市。

  10. Greg Brockman40

    我对GPT Image 2在应用构建中的实用性感到非常惊喜： [引用 @romainhuet]：GPT-5.5 + GPT-Image-2 is becoming one of the best combos for building apps! @dkundel 分析了它为何如此有效。我们将这些见解融入了Build Web Apps插件中，因此Codex可以为您处理从设计到应用的循环。👌

    引用Romain Huet@romainhuet

    GPT-5.5 + GPT-Image-2 is becoming one of the best combos for building apps! @dkundel breaks down why it works so well. We built those learnings into the Build Web Apps plugin, so Codex can handle the design-to-app loop for you. 👌

  13. Tomasz Tunguz 博客57

    AI推理市场的专业化分化

    AI推理市场正快速分化，各模态如文本、图像、视频和音频发展出独立推理技术栈。自ChatGPT发布后，NVIDIA数据中心收入三年内增长17倍，凸显市场爆发。分化根本原因在于工作负载差异：图像视频生成需高计算力，长上下文消耗更多内存，边缘设备则受功耗限制。市场按延迟分为实时、近实时和批量三层；按模态分为文本、图像视频音频；按部署分为云端和边缘。Hugging Face上已有超9万个图像生成模型，整个AI推理市场规模预计约1000亿美元，这种专业化趋势正为各细分领域创造领导者机会。

    推荐理由：Tomer 把推理市场跟数据库市场做类比，碎片化的逻辑讲得很透，做 AI 基础设施的朋友能直接用来梳理自己的赛道，普通人知道这么回事就行。

4月29日周三
  1. The Decoder：AI News55

    通过 Nemotron 3 Nano Omni，Nvidia 揭示了现代多模态模型的真实构成

    Nvidia 发布了开源多模态模型 Nemotron 3 Nano Omni，该模型能够处理文本、图像、视频和音频。其引人关注之处不仅在于性能表现，更在于其训练数据的构成。模型的部分训练数据来源于 Qwen、GPT-OSS、Kimi 和 DeepSeek OCR 等多个知名项目，这揭示了构建现代多模态模型所需数据集的多样性与复杂性。

  2. IT之家·人工智能52

    DeepSeek 终于能“看图”了！灰度“识图模式”，图片理解功能内测

    DeepSeek已灰度测试“识图模式”，新增多模态图片理解功能，用户可上传图片并获取描述。该模式与“快速模式”“专家模式”并列，并非简单OCR文字识别。部分测试用户反馈响应速度很快，类似flash；但亦有用户遇到“识图模式暂不可用”提示。网络响应内容显示该功能模型类型为“vision”，状态为“图片理解功能内测中”。

  3. SenseTime56

    感谢 @liuziwei7 与我们共同创造 #多模态智能 的未来！

    引用Ziwei Liu@liuziwei7

    🔥Native Unified Multimodal Model Open Sourced🔥 🚀SenseNova U1🚀 is the first native multimodal model that unifies multimodal understanding, reasoning, and generation within a monolithic architecture. - Code: https://github.com/OpenSenseNova/SenseNova-U1 - Model @huggingface: https://huggingface.co/collections/sensenova/sensenova-u1 🤩Try Now: https://unify.light-ai.top/

  4. SenseTime65

    是的，SenseNova U1 现已在 Hugging Face 和 GitHub 上发布！ 探索它如何以语义精确性和像素级保真度实现复杂的 #信息图 创作。 Hugging Face: https://huggingface.co/collections/sensenova/sensenova-u1 GitHub: https://github.com/OpenSenseNova/SenseNova-U1 Discord: https://discord.gg/cxkwXWjp

    引用AK@_akhaliq

    SenseNova U1 已在 Hugging Face 上线 https://huggingface.co/collections/sensenova/sensenova-u1

    推荐理由：SenseNova U1 开源了，能生成像素级精准的信息图，对于做电商和可视化的人是个直接可用的工具，值得跑一下看看实际表现。

  5. IT之家·人工智能50

    Adobe Photoshop 引入 AI 3D 旋转对象功能，光影可自动匹配

    Adobe于4月29日更新了Photoshop和Lightroom。Photoshop引入了全新的AI“旋转对象”工具，用户可在3D空间中实时旋转、倾斜和翻转素材，点击“协调”按钮可自动调整光照和阴影以匹配背景。同时，Photoshop还推出了“图层清理”工具，能智能清理、组织并自动重命名图层，移除空图层。Lightroom的搜索功能现支持自然语言描述查找照片，新增多款胶片风格预设，且辅助筛选速度更快，交互式滑块性能提升最高达5倍。

  6. IT之家·人工智能65

    英伟达推出 Nemotron 3 Nano Omni 模型：采用 30B‑A3B 混合 MoE 架构，吞吐量最高提升 9.2 倍

    英伟达发布开源全模态推理模型Nemotron 3 Nano Omni，采用30B‑A3B混合MoE架构，集视频、音频、图像和文本处理于一体。该模型旨在替代多模型链，降低推理成本与编排复杂度。在多项基准测试中表现领先，尤其在视频推理任务中，其系统吞吐量相比其他开放式全模态模型最高提升约9.2倍，文档推理任务最高提升约7.4倍。模型权重、训练配方及数据集已完全开放，支持开发者在各类环境中定制部署。

  7. Apple Machine Learning Research45

    DSO: 用于缓解偏见的直接引导优化

    研究团队提出DSO方法，旨在缓解视觉语言模型决策中的社会偏见。该方法允许用户在模型部署时，通过单一标量参数直接、实时地控制偏见缓解程度，实现无需重新训练的动态调整。实验表明，DSO能在偏见指标上实现高达90%的改善，同时将性能损失控制在10%以内，有效平衡了偏见缓解与任务性能。这一技术为需要根据具体场景权衡公平性与效用的应用提供了灵活解决方案。

  8. IT之家·人工智能54

    加速你的创意落地：Claude AI 接入 Adobe、Blender 等创意软件生态

    Anthropic于4月29日宣布升级Claude AI，新增专属连接器，全面接入Adobe、Blender等八大主流创意软件生态。此次更新将AI能力深度整合至专业工作流，用户可直接在Adobe系列软件中调用50多项工具，在Autodesk Fusion中通过对话创建修改3D工业模型，在Blender中生成脚本与调试场景。此外，音频软件Ableton和Splice用户也能快速查询文档与检索采样库。Claude旨在充当智能助手，自动化处理重复任务，让创作者更专注于核心创意。