Google DeepMind 发布实时交互世界模型 Genie 4
Google DeepMind 发布世界模型 Genie 4,主打实时交互模拟、更强照片级真实感,并首次在实时世界模型中原生生成音频,包括环境声和可实时交互的人物对话。
推荐理由:官方完整说明了 Genie 4 的实时交互、原生音频和与 Gemini 协作机制,也坦陈当前在长时一致性和物理精度上的局限。
Google DeepMind 发布世界模型 Genie 4,主打实时交互模拟、更强照片级真实感,并首次在实时世界模型中原生生成音频,包括环境声和可实时交互的人物对话。
推荐理由:官方完整说明了 Genie 4 的实时交互、原生音频和与 Gemini 协作机制,也坦陈当前在长时一致性和物理精度上的局限。
Artificial Analysis 独立实现 HeyGen 的 Code2Video Bench,发布 Code2Video-AA 评测,让模型根据设计简报用 HTML 与 GSAP 编写代码生成短视频并按 Elo 排名。
Runway 携 Runway Creative 加入 Claude Marketplace,符合条件的企业客户可用现有 Anthropic 承诺额度的一部分购买该平台。
Runway 的前沿视频生成与编辑模型 Gen-4.5 和 Aleph 2.0 现已可通过 Baseten 进行专属部署。用户可从 Runway 直接授权模型权重,在 Baseten 的单租户隔离环境中运行,并获得专属 GPU 资源与自动扩缩容,Baseten 为该部署提供 99.99% 可用性 SLA。
NVIDIA 的 RTX 视频特效现以自定义节点形式在 ComfyUI 中本地运行,官方推荐按超分、补帧、HDR 的顺序搭建完整 VFX 管线。
推荐理由:原文来自 ComfyUI 官方博客,详细说明了 NVIDIA VFX 三个节点的参数与推荐管线顺序,VFX 从业者可据此搭建本地视频增强工作流。
Descript 为整个云盘新增搜索栏和完整结果页,并支持让 Underlord 查找文件、文件夹、项目和布局包。Enterprise 云盘可发送异步录制请求,嘉宾按自己的时间录制并回传素材。
Meta 宣布 Instagram Live 在 iOS 和 Android 上改用开放标准传输协议 Media over QUIC(MoQ)进行直播视频摄取,这是 MoQ 目前已知在业内规模最大的应用之一。
Anthropic 于 10 月 8 日推出 Claude Motion,可将提示词变成由文本、图表、图形和图像构成的短动画讲解视频,Claude 会编写动画代码,结果可在编辑器中调整、通过对话修改或下载为 MP4。
ComfyUI 博客作者用智能体搜集各类优化,把 MiniMax H3 实时视频生成压缩到单张 RTX 5090(32 GB 显存)上运行,生成 30 秒视频耗时 23.51 秒,达 1.28 倍实时吞吐。
推荐理由:原文给出单张 RTX 5090 实现实时直播视频生成的完整优化清单和开源节点,读者可复现这套压成本思路。
Manus 分享使用既有视频能力的创作经验:先由 AI 搜索参考、制作镜头与代码视觉元素,再在 Manus Studio 的视频编辑器中逐轨调整画面、字幕、配乐和音效。教程还演示导入本地素材、自动转录与编排初剪,以及将长视频剪成短片;作者以 125 段旅行素材整理成约 11 分钟成片为例,说明如何把生成初稿继续打磨为可发布作品。
推荐理由:作者结合真实项目,介绍从导入素材、转录和编排初剪,到逐轨调整字幕、画面与音频的工作流,读者可将这些方法用于自己的视频制作。
Google 在 TPU 上通过稀疏注意力内核优化加速视频扩散模型推理,将理论稀疏性转化为端到端实际加速。
世界杂耍联盟(WJF)创始人 Jason Garfield 用 Runway 为荷兰两日赛事的转播补全观众席:首日满座、次日侧机位空座,他用 Aleph 2.0 在原始素材中加入观众而不改动画面其他部分,仅一个极广角镜头退回 After Effects 处理。他还用 Runway 生成开场动画、选手资料卡、排行榜和舞台烟火,整档约一小时特别节目由他一人完成,单段生成时长上限约 15 秒。
OpenRouter 发布图生视频模型对比,覆盖 Veo 3.1 系列、Seedance 2.5 与 2.0 系列、Kling v3.0 系列和 Grok Imagine Video,通过同一 video generation API 调用。
推荐理由:原文以表格对比 Veo、Seedance、Kling、Grok Imagine Video 各系的分辨率、时长、帧控制和价格,并给出按需求选型的判断路径。
Google 与 XPRIZE、Range Media Partners 合办的 Future Vision XPRIZE 在洛杉矶揭晓,独立电影人 Jeff Synthesized 凭《The Gifted》从全球 2500 多件参赛作品中获得大奖。
Google Research 推出 AI 视频联合导演研究,一个构建在 Gemini 与 Veo 之上的多智能体编排框架,将长视频生成转化为全局优化与世界状态跟踪问题。
Runway 发布 DaVinci Resolve 插件,可在 Resolve Studio 内直接生成图像和视频、重绘播放头下的片段,并将结果导入媒体池和时间线。
推荐理由:官方发布说明讲清了插件的核心工作流变化和版本要求,剪辑师可以据此评估是否把生成环节搬进 Resolve。
Qwen 发布下一代原生全模态模型 Qwen3.8-Omni-Flash,支持文本、图像、音频和视频输入及 1M token 上下文窗口,29 项评测平均分较 Qwen3.5-Omni-Plus 提升超过 25%,音频输入每小时价格下降超过 98%,音视频输入每小时价格下降超过 93%。
推荐理由:官方发布同时开放 API 和开源插件与运行时,读者可以据此评估音视频智能体在剪辑、会议、实时交互等工作流中的落地方式。
OpenRouter 发布对 ByteDance Seedance 2.5 视频模型的评测,该模型自 2026 年 8 月 7 日上线其视频 API,生成 4 到 30 秒、480p 或 720p 的片段,支持图像、视频、音频引用和首尾帧控制,音频同趟生成不加价。
推荐理由:原文基于自家端点数据给出 Seedance 2.5 的计费公式、能力边界和与 Seedance 2.0、Wan 3.0、Veo 3.1 的逐项对比,便于按需求选型。
Runway 发布 Runway Plugins,面板可直接嵌入 Premiere Pro 和 After Effects,无需导出导入即可在时间线内生成图像和视频、重渲染片段并一键放置结果。
推荐理由:原文给出了插件的功能范围、付费条件与下载方式,剪辑工作流用户可据此评估是否把生成环节搬进时间线。
Google DeepMind 为 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 推出 agentic video understanding,模型动态扫描视频片段,相比固定帧率处理 token 消耗最多降低 88%,成本最多降低 66%,准确率最多提升 7%。
推荐理由:官方说明列出 token、成本与准确率三项数字和开启方式,开发者可据此评估长视频分析是否换用该模式。
vLLM-Omni 团队发布 MiniMax H3 生产级服务实践,先做系统级优化,再集成 FastVideo 的四步 FastH3 蒸馏学生模型,将去噪循环从 49 次 DiT 前向降到 4 次。
Gemini API 为 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 推出 Agentic 视频理解,覆盖 Interactions 和 GenerateContent 两个 API。模型可动态导航视频时间线,按需请求转写、帧或音频轨,长视频内容相比静态处理最多节省 88% 的 token。
推荐理由:官方说明动态按需取用转写、帧和音频的机制,读者可据此评估长视频处理的 token 成本变化。
SGLang Diffusion 团队在 8×NVIDIA H200 上对 MiniMax-H3 视频生成进行基准测试,其密集无损路径较 Diffusers 快 1.85–1.95×,无近似损失。
推荐理由:把视频生成加速的取舍量化成可复现配置,质量优先时 Cache-DiT 单独使用比叠加稀疏注意力更划算。
Google 推出 Gemini Omni 1.1 Flash,为开发者提供更强的生成式视频控制能力。新模型支持场景扩展(可分析最多 10 秒先前上下文,以 10 秒为增量累计延长至 40 秒)、指定首尾帧生成平滑过渡,以及 4K 高清输出。
推荐理由:360p 预览的成本降到 720p 的三分之一并提速最多 60%,让视频生成的前期探索可以低成本多版本比较,改变的是创意工具迭代的节奏。
Google 发布 gemini-omni-1.1-flash,为 Gemini Omni Flash 快速对话式视频生成与编辑模型的 GA 版本。
推荐理由:原文给出 GA 版本的新能力、分辨率选项和旧端点下线时间,读者可据此评估是否迁移与调整视频生成流程。
OpenRouter 推出统一的异步视频生成 API,通过 POST /api/v1/videos 提交任务、轮询状态并下载 MP4,支持 Seedance、Veo、Wan 等模型,切换模型只需更改 model 标识符。
推荐理由:将视频生成抽象为提交、轮询、下载的异步作业,模型切换只改标识符,同时覆盖幂等、webhook 与并发控制,可迁移到其他异步生成 API 的集成。
多模态大语言模型常用视觉思维链(Visual CoT)进行空间、时间与具身环境推理,但生成中间推理图像带来大量推理开销。新提出的后训练框架 Internalized Visual Thinking(IVT)在训练阶段内化视觉思考,推理时直接进行文本预测与优化,从而在不增加推理成本的前提下实现主动视频推理。
Runway 业务今年增长超一倍,NRR 超 300%,一家 Fortune 20 客户对其使用量增长超 17 倍。欧洲占其企业客户超 20%,订阅销量过去十二个月增长 50%。公司推出模型许可模式,提供闭源权重与专有训练,并强调不基于客户数据训练、提供 Day 0 第三方模型接入及 Runway Agent 自主执行能力。
Black Forest Labs 发布 FLUX Video Upscale,可将 480p 起的视频重生成至最高原生 4K,现已通过 BFL API 和 playground 提供。
推荐理由:原文给出定价、两种模式取舍和分辨率选项,并附与其他4K放大方案的推理耗时对比,便于判断适用场景。
全球设计公司 Populous 高级建筑师 Georgina Myers 介绍团队用 Runway 辅助体育场馆概念设计:过去完整视频需外部渲染团队至少三周,且提交前两周须冻结设计模型;如今 Runway 能生成传达尺度感的完整渲染和航拍图,将视觉制作时间缩短,让设计师把时间还给设计本身。该工具已用于利雅得 MBS 体育场等中东项目,支持 9 种不同活动模式的场景迭代。
一位作者用ChatGPT生成图像、Minimax 3和Grok Imagine 1.5生成视频,打造了虚拟女生Janie,并让她参加阿拉巴马大学姐妹会招募。一周内Janie获得1300名粉丝,视频平均观看量达数万次,20条视频中8条被TikTok标记为AI生成,但未影响表现。作者未标注AI身份,认为这违反了TikTok服务条款,但旨在测试平台与观众的识别能力。
HeyGen 与 Google Cloud 合作,把其 180 亿参数以上的数字人视频扩散模型 Avatar IV 移植到八芯片 Trillium(v6e)TPU 主机上,相比首个可用版本提速 1.86 倍。
字节 Seed 发布 SeedRealtime,用统一架构原生融合音频、视频与文本,实现“边看、边听、边说”的实时交互。相比级联模型,其音视频对话节奏问题减少一半,并已在豆包 App 全量上线,率先实现音视频全双工技术的规模化落地。
推荐理由:SeedRealtime 将音视频感知与表达统一到同一端到端模型中,级联系统常见的说话节奏问题减少了一半,实时场景中能主动提醒并自然停顿,为全模态智能助手交互提供了新的技术路线。
Black Forest Labs 宣布 FLUX 3 Video 的生成能力正式开放,可通过 BFL API 和部分合作伙伴使用。
推荐理由:官方公布了 FLUX 3 Video 的具体能力清单和与 Seedance 2.0 等模型的对比结果,读者可据此评估它在当前视频生成工具中的位置。
三家广告与品牌公司的创意负责人一致认为,AI 技术已成熟,真正挑战在于重塑习惯、团队与预算。Le Truc 的 Williander 强调快速原型、展示 60-70% 完成度即可;Edelman 引入 Runway 后设计师效率提升五倍;WHY Brands 的 Harrelson 用 AI 实现当天响应文化热点。
Nvidia 媒体与娱乐部门副总裁 Richard Kerris 认为,AI 不是可叠加的功能,而是值得围绕其重建的全新计算模型。Runway 仅用一天便将 Gen-4.5 迁移至 Nvidia 最新平台 Vera Rubin,生成速度从分钟级提升至即时,使视频生成变为实时创作循环。
Paramount 首席技术官 Phil Wiser 认为 AI 应跻身人类史上最伟大技术趋势前五,其影响堪比火的使用。他主张等待依赖条件成熟、以“aha 时刻”引导采用,而非以技术为先导;并警告行业巨头过度分析将错失窗口期,这一窗口可能仅 5 至 10 年。Paramount 两年前已通过 Runway 向全员开放 AI 工具,并以业务成果而非 token 消耗量衡量成效。
Netflix 创意创新总监 Girish Balakrishnan 与 FutureCel 创始人 Joel Kuwahara 一致认为,AI 是服务故事的工具。Netflix 用生成式工具为《Brazil '70》重现 1970 世界杯满场观众,保留原本会被剪掉的镜头;Kuwahara 则强调 AI 带来更多迭代机会,但最终仍取决于艺术家的技艺与视野。
字节跳动今日正式发布新一代视频创作模型 Seedance 2.5,单次视频生成时长从 15 秒提升至 30 秒,并支持多轮延长,可产出数分钟连贯内容。模型支持单次输入最多 30 张图片、10 段视频和 10 段音频作为参考素材,并升级白模参考、运动参考及绿幕编辑、时间戳精准编辑等能力。Seedance 2.5 已陆续上线即梦 AI、豆包专业版等平台,API 服务近期将上线火山方舟。
推荐理由:Seedance 2.5 把单次生成拉到 30 秒,加上多模态参考和精准编辑,让视频创作从片段拼凑变成完整叙事。对国内创作者来说,这是即梦和豆包里能马上用到的最强视频模型。
Black Forest Labs 推出多模态模型 FLUX 3,支持带原生音频的视频生成、图像生成与动作预测。官方称其目标是让多模态 Flow 模型成为视觉智能的骨干,并已公布相关能力与早期结果。