跳到正文

技术方向

多模态 最新动态

文字之外的能力:看懂图片、图文混合理解、音视频输入输出的模型与产品进展。

454 条精选近 30 天 31 条共收录 2,679 条

更新

精选归档 · 第 6 页

8月3日周一第 101–120 条
  1. Kimi.ai70

    使用 Kimi Work 制作幻灯片 - 教程 #1。 Kimi Slides 处理整个幻灯片制作流程: - 清晰的结构与研究,由 Kimi K3 驱动 - 连贯的设计,包括精美的图表和 SmartArts - 可编辑并可直接下载 欢迎在评论区告诉我们你还想看什么内容!

    推荐理由:教程展示了如何用 Kimi Slides 一站式完成幻灯片的结构、设计和下载,对需要快速产出演示文档的 Kimi 用户有直接可用性,但完整效果仍取决于实际模板和内容质量。

  2. 公众号:MiniMax75

    MiniMax H3 正式开源:通用全模态生成系统支持 2K 视频与原生立体声

    MiniMax 正式开源新一代通用视频模型 H3,可统一理解文本、图像、视频和音频,生成最高 2K 分辨率、最长 15 秒、带 32 kHz 原生立体声音频的视频。

    推荐理由:与多数开源视频模型不同,H3 原生支持同步生成立体声音频,且通过上下文再生成实现 2K 分辨率,为音视频生成应用提供了更完整的开源基座。

8月2日周日
7月31日周五
  1. 公众号:百度智能云66

    百度搭子一镜Skill:一句话生成数字人口播视频

    百度搭子内置的一镜Skill支持仅凭一句话或一个主题,自动完成脚本生成、声音、数字人形象、口型驱动和视频渲染,生成可直接播放的数字人口播视频,全程无需拍摄、剪辑和露脸。该功能适用于旅游攻略、产品种草、知识科普、临时活动宣传、企业内部培训及个人IP起步等场景,大幅降低视频制作门槛。

    推荐理由:拆解了从想法到成品视频的全链路,非专业用户能直观理解脚本生成、数字人驱动等环节如何协作,有助于判断这类工具能否嵌入现有创作流程。

  2. MiniMax:Blog78

    MiniMax H3 发布:开源全能多模态生成模型,支持 2K 原生立体声视频

    MiniMax 正式推出全能多模态生成模型 H3,可联合理解文本、图像、视频和音频,生成最高 2K 分辨率、15 秒时长且带原生立体声的视频。H3 在指令跟随、文字与品牌呈现、V2V 动作迁移上表现突出,2K 下每秒价格低于主流模型三分之一,768p 下低于主流 720p 价格一半。官方计划近日开源模型权重,以支持开源社区并加速硬件兼容。

    推荐理由:MiniMax H3 把全模态生成打到了 2K 分辨率且价格不到主流三分之一,还计划开源权重,这对闭源视频模型是实打实的压力,开发者可以重点关注。

  3. 字节 Seed:Research Feed80

    字节发布 Seedance 2.5:单次生成 30 秒视频,支持多模态参考与精准编辑

    字节跳动今日正式发布新一代视频创作模型 Seedance 2.5,单次视频生成时长从 15 秒提升至 30 秒,并支持多轮延长,可产出数分钟连贯内容。模型支持单次输入最多 30 张图片、10 段视频和 10 段音频作为参考素材,并升级白模参考、运动参考及绿幕编辑、时间戳精准编辑等能力。Seedance 2.5 已陆续上线即梦 AI、豆包专业版等平台,API 服务近期将上线火山方舟。

    推荐理由:Seedance 2.5 把单次生成拉到 30 秒,加上多模态参考和精准编辑,让视频创作从片段拼凑变成完整叙事。对国内创作者来说,这是即梦和豆包里能马上用到的最强视频模型。

  4. 公众号:数字生命卡兹克69

    MiniMax H3 发布并将开源,主打视觉包装与后期特效

    MiniMax 发布 AI 视频模型 H3,并宣布开源。该模型主打视觉包装与后期特效,可生成动态 MV、动态海报、Vlog、电影片头、游戏 UI 等,语义遵循能力极强,在广告与动效领域表现优于 Seedance 2.0,但影视级张力镜头稍逊。H3 开源后预计将出现大量垂直领域特化版本。

    推荐理由:在 Seedance 统治的前期创作之外,H3 用语义强控制补上了视觉包装与后期特效这块拼图,广告和社媒短片的后期流程可能因此从剪辑软件迁移到提示词。

  5. Google AI69

    Google Earth 网页版上线基于 Nano Banana 2 的图像生成功能,用户可通过文本提示词将卫星与 3D 影像结合,重新想象全球任意地点(如百年前的城市风貌或社区新球场)。该功能现已面向所有用户开放。

    推荐理由:Google 把图像生成塞进地球,直接用 Nano Banana 2 在卫星图上创作,门槛低得谁都能玩,做城市设计或创意提案的人可以立刻试试。

7月30日周四
  1. Google DeepMind:Blog60

    Gemini Robotics ER 2:用视频理解、任务编排与多机器人协作赋能机器人

    Google DeepMind 推出 Gemini Robotics ER 2,一个基于 Gemini 的机器人基础模型。该模型在视频理解、工具编排和多机器人协作方面实现阶跃式提升,使机器人能够推理、协作并解决真实世界任务。

    推荐理由:DeepMind 把 Gemini 带到机器人领域,视频理解、任务编排和多机协作的叙事很宏大,但全是愿景,没有实测数据,是不是真正的 step change 得等细节。做机器人的可以先建个追踪。

  2. Thinking Machines Lab:News73

    Thinking Machines Lab 发布开源权重模型 Inkling-Small

    Thinking Machines Lab 发布开源权重模型 Inkling-Small,为 MoE 架构,总参数 276B、激活 12B,以约四分之一的体积达到与 Inkling 相当的性能。

    推荐理由:官方给出了完整评测和效率曲线,读者可以据此评估这款小体积 MoE 模型在推理、编码和多模态任务上的性价比。

  3. Google DeepMind:Blog63

    Google DeepMind 在 Flow Music 中推出 Lyria 3.5,提升音乐性、歌词、人声与创作控制

    Google DeepMind 今日在 Google Flow Music 中发布新一代音乐生成模型 Lyria 3.5,带来音乐性、歌词质量、人声表现力与创作控制的多项提升。新模型能生成更自然复杂的旋律结构,歌词对提示词的遵循度和结构意识更强,人声更逼真且富有情感,同时支持更便捷地控制输出节奏与时长。

    推荐理由:Lyria 3.5 把音乐生成从玩具级推到了可用创作工具级别,歌词和情感人声的提升对内容创作者是实实在在的福音。

7月29日周三
  1. TechCrunch:AI73

    Martha Stewart 联合创办 AI 初创公司 Hint,为房主提供家居管理 AI 助手

    Hint 今日上线,利用 AI 技术帮助房主管理维护计划、能耗、土壤与空气质量、保险理赔等事务,并支持存储和查询房屋相关合同与文件。该应用基于公开数据为每栋房屋建立档案,通过 AI 聊天机器人回答个性化问题,并提供主动维护提醒与“房屋评分”。Hint 目前免费提供 iOS 版,无订阅或广告,未来计划推出付费高级功能。

    推荐理由:Martha Stewart 以联合创始人身份加入 Hint 绝非挂名,她亲自打磨体验,这个 AI 家居助手整合了图像识别和文档查询,让房主终于有了一个可用的家庭管理中枢,是 AI 从聊天走向实用的一次有趣尝试。

7月28日周二
  1. 公众号:月之暗面85

    Kimi K3 开放日:模型权重、技术报告和关键 Infra 技术同步开放

    月之暗面发布 2.8 万亿参数的混合专家模型 Kimi K3,支持原生视觉理解和 100 万 token 上下文窗口。其规模化效率较 Kimi K2.5 提升 2.5 倍,并同步开源模型权重、技术报告及 MoonEP、FlashKDA、AgentEnv 三项 Infra 技术。

    推荐理由:Kimi K3 的完全开放是一个明确信号,月之暗面把最核心的模型权重和技术细节全部公开,国内开发者从此有了媲美国际顶尖开源的底座。虽然部署门槛不低,但开放本身推动了生态发展。

  2. Kimi.ai73

    Kimi.ai 发布 PerceptionBench,一个从当前前沿模型在 42 个基准上的失败模式中归纳出的视觉感知基准。该基准将视觉感知拆解为 10 种原子能力,并构建了 3000 道验证题,每道题只考察单一感知能力,无需推理或外部知识。

    推荐理由:从模型失败中反向定义原子感知,把视觉感知从推理里拆出来很聪明,开源数据和方法对做视觉评测的产品人很有参考价值。

7月27日周一
  1. 公众号:月之暗面81

    Kimi K3 开放日:模型权重、技术报告和关键 Infra 技术同步开放

    Kimi 发布 K3 模型权重与技术报告,并开源 MoonEP、FlashKDA 和 AgentEnv 三项关键 Infra 技术。K3 是 2.8 万亿参数的 MoE 模型,支持原生视觉与 100 万 token 上下文,参数规模约为 K2.5 的 3 倍,规模化效率提升 2.5 倍。

    推荐理由:权重开源伴随技术报告公开训练细节,为研究机构直接复现和改造千亿级MoE模型提供了完整路径,也降低企业自部署门槛。

  2. Air Street Press70

    Black Forest Labs 发布 FLUX 3,从视频生成延伸到机器人控制

    Black Forest Labs 发布多模态基础模型 FLUX 3,单一架构内联合学习图像、视频和音频,可单次生成最长 20 秒带音频视频,其初步人偏好评测中优于 Runway Gen-4.5(77%)和 Grok Imagine Video(69%)。

    推荐理由:原文把 FLUX 3 的多模态训练与其在工业机械臂上的控制实验串联起来,并给出冻结骨干的消融数据,可帮助读者理解视频表征迁移到机器人操作这条路线。

  3. Suno68

    我们一直在以比以往更快的速度构建!🚀 以下是网页端和移动端的新功能一览: • 高级音轨分离 • 将音轨导出为 MIDI • 歌词合写与自动保存 • 截图生成歌曲 • Apple CarPlay 与 Android Auto 你最期待 Suno 的哪些新功能?

    推荐理由:Suno 这波更新把之前缺失的后期编辑能力补了上来,stem 分离和 MIDI 导出对音乐人来说是实际生产力提升,screenshot to song 这种脑洞功能也许能拓展用户群。

7月24日周五
  1. Black Forest Labs:Blog67

    Black Forest Labs 发布 FLUX 3 多模态基础模型,与 mimic 合作推出 FLUX-mimic 机器人模型

    Black Forest Labs 发布 FLUX 3 多模态基础模型,联合训练图像、视频与音频,其中视频预测占总计算成本超 95%,并与 mimic 合作推出基于 FLUX 3 骨干的视频动作模型 FLUX-mimic。

    推荐理由:原文解释了同一骨干为何能同时支撑内容生成与机器人控制,并给出真实产线部署和延迟数字。