跳到正文
#多模态
5月20日周三
  1. Kling AI72

    4月23日，Kling AI正式推出全球首个原生4K视频生成模型，专为专业内容创作设计。该功能支持一键生成真4K画质视频，显著提升画面细节与制作效率。模型已获得好莱坞团队、动画工作室等多方采用。好莱坞制片人指出，这是其工作流中首个使用的原生4K基础模型；Wonder Studios强调，原生4K从底层生成避免了传统放大技术的角色变形问题，保持了画面一致性；动画导演则认为，该模型在保留艺术色调与复杂特效纹理方面优于同类产品。

  2. Rohan Paul73

    商汤科技SenseNova U1已开源发布。其核心创新在于原生多模态统一建模，将视觉、语言与图像生成视为一个统一问题，而非分立模块的链式处理，从而减少了信息损失。该模型采用MoT架构（38B-Active 3B MoE），在生成信息图、海报、漫画等结构复杂的密集图文内容时能保持高度一致性。详细的技术报告披露了其包括近无损视觉接口、联合训练策略在内的完整构建方案，为行业提供了前沿参考。

    引用SenseTime@SenseTime_AI

    🔥 New week, New 𝗦𝗲𝗻𝘀𝗲𝗡𝗼𝘃𝗮-𝗨𝟭 Drop — and this one goes Deep!🔥 📄 𝗧𝗵𝗲 𝗳𝘂𝗹𝗹 𝗧𝗲𝗰𝗵𝗻𝗶𝗰𝗮𝗹 𝗥𝗲𝗽𝗼𝗿𝘁 𝗶𝘀 𝗢𝗨𝗧 — the most detailed disclosure yet of how to build a frontier Native Multimodal Model. Inside: ✨ Near-lossless visual interface (no VEs, no VAEs) ✨ Native Multimodal Unified Modeling ✨ Joint AR + pixel-space flow matching training ✨ Native Mixture-of-Transformers backbone ✨ 6-stage training recipe + RL post-training + distillation If you work on NMM, this is the playbook. 🤗 One more thing: 𝗦𝗲𝗻𝘀𝗲𝗡𝗼𝘃𝗮-𝗨𝟭-𝗔𝟯𝗕-𝗠𝗼𝗧 (𝟯𝟴𝗕-𝗔𝟯𝗕 𝗠𝗼𝗘) 𝘄𝗲𝗶𝗴𝗵𝘁𝘀 𝗮𝗿𝗲 𝗻𝗼𝘄 𝗼𝗽𝗲𝗻-𝘀𝗼𝘂𝗿𝗰𝗲𝗱 — a RARE native unified model on an MoE backbone (Only 3B active! Lightning Fast⚡) 📄 Tech Report: https://arxiv.org/abs/2605.12500 🤗 Daily Papers (Vote & Discuss): https://huggingface.co/papers/2605.12500 🤗 Models: https://huggingface.co/collections/sensenova/sensenova-u1 💻 Code: https://github.com/OpenSenseNova/SenseNova-U1 🎮 Demo: https://unify.light-ai.top 👾 Discord: https://discord.com/invite/BuTXPHmQub

  3. IT之家·人工智能62

    微信AI团队模式识别中心论文首获ICASSP最佳工业论文奖

    2026年5月，微信AI团队模式识别中心的论文《Less Redundancy: Boosting Practicality of Vision Language Model in Walking Assistants》在西班牙巴塞罗那举办的ICASSP 2026上荣获最佳工业论文奖。这是该奖项自2016年设立以来首次颁给中国企业团队。论文提出的WalkVLM-LR模型专为视障人士行走辅助设计，其核心创新在于减少输出与时间冗余，优化了视觉语言模型的提醒时机。目前模型延迟控制在百毫秒量级，实时性较为可用，但距离实际落地应用仍需进一步优化。

  4. StepFun68

    Google推出Gemini 3.5 Flash模型，现已向所有用户开放，并集成到其产品与API中。相比Gemini 3.1 Pro，3.5 Flash在几乎所有基准测试中均有提升，编程能力进步尤为显著。该模型性能媲美顶尖模型，但生成速度极快（比其他前沿模型快4倍），在“智能与输出速度”的评估维度中位于顶尖象限，实现了效率与效果的卓越平衡。

    引用Sundar Pichai@sundarpichai

    Just off stage at #GoogleIO, some highlights from this morning 🧵 Gemini 3.5 Flash is available today for everyone in @antigravity and across our products and APIs. Compared to 3.1 Pro, 3.5 Flash is better across almost all benchmarks with huge progress in coding. It’s also comparable to the best models but very fast (4x faster tokens/ second than other frontier models). And when looking at the intelligence versus output speed, it’s in a league of its own in the top right quadrant.

  5. Rohan Paul69

    Google Gemini 3.5 Flash 是其类别中非常强大的模型。在众多基准测试中超越了 Gemini 3.1 Pro。 这是一个代理模型，每秒处理的令牌速度快4倍。 @aimlapi 刚刚将 Gemini 3.5 Flash 添加到其 API 中，并且在24小时内免费提供。 设置说明见评论。

    引用AI/ML API@aimlapi

    .@Google : "We're releasing Gemini 3.5 Flash" Us: *We're offering it for free* free for 24hrs via our API find instructions how to set it up below

  7. IT之家·人工智能45

    谷歌酝酿 Gboard 输入法升级，能根据上下文提供高情商回复

    谷歌正在测试 Gboard 输入法的三项新 AI 功能，包括自定义提示词输入框、根据描述起草完整内容以及支持读取屏幕上下文或对话内容以提供更贴合语境的回复建议。此次升级标志着 Gboard 的 AI 能力从固定的润色、改写预设，转向更灵活的个性化写作辅助。新功能将允许用户以自然语言指令（如“让语气更幽默”）直接定制文本风格，并可能结合图库截图等屏幕信息自动组织回复。

  9. Google AI83

    谷歌宣布推出基于Gemini 3.5模型的全新智能搜索框。该更新将AI Overviews与AI Mode整合为统一的AI搜索体验，支持对文本、图像、文件及视频进行跨模态推理查询。用户可进行多轮对话，搜索将结合上下文提供更个性化、定制化的回答。该新功能已在全球桌面和移动设备端同步上线。

    推荐理由：Google搜索史上最大一次交互变革，Gemini 3.5加持的搜索框能理解文本、图片、视频，AI Overviews和对话模式彻底融合，搜索终于变成真正的对话助手。

  11. Google Gemini72

    使用 Gemini 3.5 Flash 构建你的第一款游戏。 无需复杂的3D建模，即可将日常物品直接转化为互动的数字体验。从一个 Nano Banana 提示开始，在 Canvas 中将你的图像变成游戏，并优化你的愿景以获得最佳游戏体验。

    推荐理由：Google Gemini 官方教你把日常物品照片变成互动游戏，Nano Banana 到 Canvas 的链路很直接，想试 Gemini 多模态能力的人可以当入门案例跑一遍。

  12. Google Developers Blog70

    使用LiteRT-LM在设备上实现闪电般的快速生成式AI

    Google AI Edge推出LiteRT-LM引擎，为跨平台移动和边缘设备提供高度优化的基础设施，支持Gemma 4模型在设备端运行。通过内存高效动态加载和多令牌预测技术，实现高达2.2倍的速度提升，并集成思维模式、约束解码等高级工具。同时，该引擎正扩展至Apple生态，新增原生Swift API和WebGPU加速的JavaScript API，支持高性能浏览器端推理。

  19. François Chollet62

    Gemini [引用 @arcprize]：Gemini 3.5 Flash ARC-AGI（已验证） ARC-AGI-2： - 高配：72.1%，$0.85 - 最低配：8.9%，$0.11 ARC-AGI-1： - 高配：92.5%，$0.42 - 最低配：48.8%，$0.06 Gemini 3.5 Flash在ARC-AGI测试中与GPT-5.5（中配）表现相当

    引用ARC Prize@arcprize

    Gemini 3.5 Flash ARC-AGI (Verified) ARC-AGI-2: - High: 72.1%, $0.85 - Minimal: 8.9%, $0.11 ARC-AGI-1: - High: 92.5%, $0.42 - Minimal: 48.8%, $0.06 Gemini 3.5 Flash is on par with GPT-5.5 (Medium) on ARC-AGI

  20. IT之家·人工智能73

    谷歌搜索迎 25 年来最大改版，AI 重塑搜索体验与交互方式

    谷歌在2026年I/O开发者大会上宣布，旗下搜索业务迎来25年来最大改版，核心是用AI重塑搜索入口与交互方式，由最新Gemini 3.5 Flash模型提供支撑。主要变化包括：用户交互从输入关键词转向描述完整需求，搜索框将动态扩展并支持文本、图片、视频等多模态输入。用户可从AI概览中连续追问，形成聊天式对话。新版引入搜索智能体，可在后台24小时运行并追踪用户设定的目标。此外，谷歌将生成式界面功能引入搜索，并将个人智能扩展至98种语言、近200个国家。据悉，AI Mode月活用户已突破10亿，查询量每季度翻倍。

  21. IT之家·人工智能64

    谷歌升级 Workspace：语音对话协作 AI 检索邮件、起草文档、整理笔记

    谷歌在2026年I/O开发者大会上宣布升级Google Workspace，将Gmail、Docs、Keep等工具整合为支持自然语音交互的协作助手。核心新功能包括：可通过语音直接检索邮件内容的Gmail Live、支持口述起草与格式整理的Docs Live，以及能自动将零散想法整理成清单的Keep更新，旨在将办公流程从点击输入转向更自然的语音交互。此外，谷歌还推出了基于Nano Banana模型的独立图像编辑应用Google Pics，支持对图像进行精确的局部对象分割与修改。

  22. IT之家·人工智能54

    谷歌携手三星展示 2 款智能眼镜：整合 Gemini AI，支持语音导航、实时翻译

    谷歌在2026年I/O开发者大会上携手三星发布了2款智能眼镜，由Gentle Monster与Warby Parker参与设计。眼镜定位为手机伴侣设备，深度整合Gemini AI模型，核心功能包括语音导航、实时翻译（音频及视觉文字翻译）、基于路线的个性化推荐与订单下达，并能将通知压缩为摘要。外观提供时尚与经典两种风格。产品售价尚未公布，传闻无显示版本价格区间为379至499美元，预计今年秋季上市。

  23. IT之家·人工智能54

    谷歌展示街景版 Genie 世界 AI 模型，用真实街景创建想象世界

    谷歌在2026年I/O开发者大会上宣布，将街景服务与Project Genie世界模型结合。Genie原本能生成可互动的虚拟环境，此次更新后可直接基于真实街景图像构建可探索的3D世界，用于AI智能体或机器人训练。用户可通过Google Maps选择美国地点并指定风格（如“石器时代”），生成定制化想象世界。该能力目前为实验性原型，仅支持美国地点，未来计划逐步扩展。

  24. IT之家·人工智能54

    谷歌升级 AI 创意平台 Flow：增强视频编辑，Agent 辅助头脑风暴等

    谷歌在2026年I/O大会上宣布升级AI创意平台Flow，重点整合Gemini Omni Flash模型，显著提升视频编辑精度和多镜头角色一致性。同时推出Flow Agent，能辅助头脑风暴、内容生成与批量编辑。此外还新增了自然语言定制工具的Flow Tools和支持分段编辑的Flow Music功能。目前Flow已覆盖全球140多个国家和地区。

  25. IT之家·人工智能56

    谷歌推出科研版 Gemini，能追踪论文、写实验代码

    在2026年谷歌I/O开发者大会上，谷歌宣布推出专用于科研领域的Gemini for Science模型。该模型能够实时追踪前沿论文、将研究目标转化为可执行的实验代码，并生成新的科学假设。谷歌同时透露，未来该技术有望模拟更复杂的生物系统，甚至包括虚拟细胞。目前，谷歌已有多个基于该技术的项目进入临床前阶段，聚焦免疫疾病与癌症等领域，旨在重新构想药物发现的流程。

  27. Google Gemini68

    我们在#GoogleIO上宣布了多项Gemini更新，包括： - 采用神经表达技术的全新Gemini体验设计 - 即将推出的Gemini智能体功能，含每日简报与Gemini Spark - Gemini Omni与3.5 Flash模型 - 以及更多内容！ 详情请见此线程🧵

    推荐理由：Google IO上Gemini这波更新，从Neural Expressive到代理体验，是在把AI助手往主动帮你做事的方向推，产品人和开发者该认真看看。

  28. Google Blog：AI83

    Gemini 3.5：前沿智能与行动能力相结合

    Google 在 I/O 大会上正式发布了最新的 Gemini 3.5 模型系列。该系列模型将前沿的人工智能能力与执行操作的功能相结合，旨在提供更强的综合性能。作为 Google 最新推出的模型，它代表了其在大模型技术上的最新进展。

    推荐理由：Google 在 I/O 上甩出 Gemini 3.5，这次不只拼多模态，更强调‘行动’，是所有做 Agent 的团队必须对标的新基座。

  29. Google Blog：AI75

    Google Workspace 推出全新创建方式与高效工作功能

    Google 在最新更新中为 Gmail、Docs 和 Keep 增添了新的语音功能，并推出了一款名为 Google Pics 的全新设计工具。同时，其 AI Inbox 功能也得到了升级与优化。这些更新旨在进一步提升用户在工作场景中的协作效率与创作体验，通过集成更智能的工具和交互方式，帮助用户更便捷地完成多项任务。

    推荐理由：Google Workspace 直接植入了语音操作和设计工具 Pics，这波更新对办公效率很实在，做产品和运营的可以关注一下实际落地效果。

  30. VentureBeat：AI69

    Google 25年来首次重塑搜索框：AI驱动对话时代来临

    在2026年I/O大会上，Google宣布对其标志性搜索框进行25年来最大升级。搜索框从简单的关键词输入，演变为支持文本、图像、PDF、视频及网页标签等多模态输入的AI对话起点。同时，AI概览与AI模式合并为统一体验，用户无需在传统结果与AI生成答案间切换。此次升级标志着Google核心产品正从关键词检索工具，彻底转向以AI和全网知识为基础的开放式对话界面。

  31. Artificial Analysis78

    谷歌发布新模型Gemini 3.5 Flash，其在智能指数上提升9分至55分，超越Grok 4.3和Claude Sonnet 4.6，尤其在代理任务和知识真实性（大幅减少幻觉）方面进步显著。输出速度超280 tokens/s，使其位于速度与智能的领先前沿。然而，模型运行成本相比前代增加5.5倍，主要由于输入令牌用量及定价上涨。此外，它在多模态评估MMMU-Pro中取得最高分，支持多模态输入，展现了谷歌的综合优势。

  33. IT之家·人工智能77

    谷歌 Gemini Omni 全能模型发布：可从任意输入生成任意输出，一句话让 AI 修改视频

    在2026年谷歌I/O开发者大会上，谷歌正式推出Gemini Omni模型。该模型代表了Gemini家族迄今最全面的能力，“Omni”意为全能，能够无缝处理文本、图像、音频和视频等多种信息模态，实现“从任何输入生成任何输出”。其核心亮点在于支持对话式编辑，用户可通过自然语言指令轻松修改视频元素。同时，谷歌发布了首款衍生模型Gemini Omni Flash，现已在Gemini App、Google Flow和YouTube Shorts中可用，后续将提供API服务。

  34. Google DeepMind：Blog83

    推出Gemini Omni多模态AI模型

    谷歌推出原生多模态AI模型Gemini Omni，能够整合视频、图像、音频和文本等多种输入，生成高质量视频内容。其核心能力是通过自然语言对话进行视频编辑，并能保持角色一致性、物理规律与场景连贯性。首个模型Gemini Omni Flash已上线，未来将支持图像和音频输出。Gemini Omni结合了对物理世界的直觉理解与丰富的知识库，支持从写实到叙事的创意生成，并可通过多轮对话持续编辑视频，而不丢失原始场景上下文。

    推荐理由：Gemini Omni 把视频生成从画面堆砌推到了物理世界叙事，多轮自然语言编辑和世界知识融合是真正的代际升级，做视频内容的该重新理解工具的定义了。

  36. DogeDesigner58

    在《福布斯》访谈中，埃隆·马斯克就多个领域阐述了激进观点。他批评针对OpenAI的诉讼败诉开创了“危险先例”，并计划上诉。其核心预测包括：AI发展呈指数级，5年内数字智能或超全人类智能总和；全球经济规模有望数年内翻倍；人形机器人将达数亿台。SpaceX致力于开发全复用火箭，以实现大规模太空运输并建立地外城市。他将Neuralink脑机接口技术视为“耶稣级”创新，能恢复残障人士机能。此外，他还提及了隧道交通、合成医学等机遇，整体展现出以技术加速人类文明进程的强烈紧迫感与乐观构想。

  38. Cohere 产品与研究博客71

    Cohere 开源 Command A+：218B 参数 MoE 模型主打企业级智能体能力

    Cohere 发布 Command A+ 并以 Apache 2.0 许可开源权重，模型采用 MoE 架构，总参数 218B、激活 25B，支持 128K 输入上下文和 48 种语言。

    推荐理由：官方公布了 Command A+ 的架构参数、基准成绩与量化部署门槛，可帮助企业评估其在私有环境中的智能体部署可行性。

5月19日周二
  1. Qwen：Blog Retrieval77

    Qwen3.5-LiveTranslate：从声音到视觉，从词语到准确

    Qwen3.5-LiveTranslate-Flash 是 Qwen 家族最新的同声传译模型，基于 Qwen3.5-Omni 架构，支持实时多模态翻译（音频、视频及视觉上下文）。语言覆盖大幅扩展：输入音频与输出文本从18种增至60种，输出音频从10种增至29种。采用 Readable Unit 技术，平均端到端每 token 延迟降至2.8秒，相比前代首 token 延迟降低3.45秒、每 token 延迟降低1.88秒。支持一句话启动的实时语音克隆和可动态配置的热词增强。在 FLEURS 和 CoVoST2 基准上翻译准确率超越主流商用大语音模型。

    推荐理由：这个版本让同声传译从“能用”变成了“好用”，语言覆盖从 18 跃升 60，延迟压到 2.8 秒，加上视觉消除歧义，做国际业务和直播的人值得跟进。

  2. The Decoder：AI News57

    Agora-1 将 N64 经典游戏《GoldenEye》转变为可供四人游玩的 AI 模拟

    Odyssey 公司发布了世界模型 Agora-1，该模型允许最多四名玩家同时在 AI 生成的虚拟世界中进行行动。该技术已在经典游戏《GoldenEye》上得到验证，其核心是使用两个独立的模型分别实时处理游戏状态模拟与画面渲染。开发团队认为，这项技术未来在协作机器人和 AI 智能体训练领域具有应用潜力。