Google DeepMind 发布实时交互世界模型 Genie 4

2026年10月27日 模型

Raia Hadsell、Diego Rivas 和 Hang Qi

今天，我们发布全新世界模型 Genie 4，它带来了前所未有的真实感，并提升了实时交互式模拟的表现。Genie 4 原生支持多模态，能够在生成世界的同时，同步生成类音乐的音频、环境音效和交互式对话。

Genie 4 模型融合并拓展了 Gemini 系列的能力：Gemini Omni 让模拟场景在真实世界的外观与行为上有据可依，其他 Gemini 模型则提供所需的复杂推理能力，帮助维持模拟的连贯性与持续性。

有了这一基础，你只需设定一个事件的起点，Genie 4 就会模拟接下来发生的一切：世界如何响应、听起来是什么样，以及其中的人物如何移动、反应和说话。

理解和模拟世界是构建 AGI 的关键一环。Genie 4 提升了我们创建安全、可无限变化的模拟的能力，这些模拟可以服务于从为机器人和智能体开发训练环境，到开启全新交互体验创作的各种场景。

我们已开始以研究预览的形式向可信测试者逐步开放 Genie 4——在面向消费者和开发者发布之前先收集反馈，首批覆盖 Project Genie 中的 Google AI Ultra 订阅用户，以及 Gemini API 和 Google AI Studio 的早期访问合作伙伴。想加入 Project Genie 中 Genie 4 的等候名单，请点此。

Genie 4 在四项关键能力上实现进阶

以下为 Genie 4 实时交互的录屏，用户通过标准键盘操作进行导航和镜头控制，并用文本提示词引导场景的演变。

实时塑造世界模拟

借助 Genie 4，你可以用自然语言实时修改模拟——比如改变天气、移动镜头，或引入新的人物或物体——Gemini 会结合周围场景对你的提示词做语境化适配。在你两次输入之间，Gemini 还会持续监测并引导场景，让世界连贯地向前推进。

在物理与人物动作的真实感上再进一步

Genie 4 为实时交互式模拟树立了新的真实感标准。基于对世界的先进物理理解，Genie 4 能够模拟空气动力学、碰撞等真实世界的物理场景。

最显著的飞跃在于 Genie 4 对人物的模拟：它创造的角色动作自然，能对环境做出有机反应，还可以在实时交互中被引导。

建模世界的声音

Genie 4 是我们首个原生生成音频的实时世界模型。每个世界都带有其自身场景的环境音，从林间风声到海滩浪涛，一应俱全。

然而真正的前沿是人类语音。Genie 4 引入了可即时调整的交互式对话。角色会实时交谈，并对你的输入或世界中发生的事件做出反应。

用 Gemini 模型模拟复杂事件

Gemini 与 Genie 4 的结合为世界模拟增添了新的推理层，使我们能够对复杂的多步骤事件建模，并在把 AI 系统带入真实世界之前，测试它们如何在不同的环境中应对。

为了实现实时效果，Gemini 3.8 Flash 在循环中充当引导智能体：Genie 4 实时生成世界的同时，Gemini 持续观察场景，把目标拆解成一系列步骤，并检查不断传入的画面帧，以跟踪进度、确认每一步是否成功。当世界发生变化或用户介入时，Gemini 会即时调整计划，从而解锁具备可靠因果性、程序化行为和多步推理能力的世界。

在探索这一能力的过程中，我们还尝试将 Gemini 4 Argon 与 Genie 4 结合，把我们的前沿研究与 Gemini Robotics 连接起来。

在下面的示例中，Argon 把用户指定的任务拆解成若干步骤，交由 Genie 渲染。这些步骤以文字说明的形式，在模拟渲染过程中穿插发送给 Genie 4。由于 Genie 4 可以借助 Gemini 通过文字说明实时操控，这就开辟了一条新路径：在模拟推进、逐步完成任务的过程中不断调整模拟。借助 Gemini 4 Argon 和 Genie 4，这一能力成为在想象世界中模拟各类场景的一条途径。

来自可信测试者的反馈

Genie 4 虽然是一项重要的研究里程碑，但仍是一个早期的实验性模型。为了解交互式世界模型如何支持真实工作流程、以及还有哪些方面需要成长，我们一直在与创意产业、新闻、教育、游戏和工程等领域的多批可信测试者合作。

测试者特别指出，照片级真实感、原生音频和实时操控方面的飞跃，让想法和概念能够转化为逼真的模拟，从而在各学科中解锁新的能力：

• 创意指导：创意工作者和技术专家正在把 Genie 4 当作快速“草稿模式”，用于预可视化和构思。例如，电影制作者可以走进一个场景的实时模拟，实时跑多遍“拍摄”，随时调整机位、灯光、对白和动作。
• 历史场景与沉浸式照片：新闻摄影记者正在探索如何让一张 2D 档案照片在几秒内变成该环境的扎实模拟。团队正在测试有人员活动的动态世界如何帮助人们体验历史空间，或直观呈现山洪、野火等短期环境事件的发生过程。
• 交互体验概念设计：游戏开发者和创意技术专家正在测试用 Genie 4 在几秒内把初步想法变成可探索的原型，在写下一行引擎代码之前，就通过自然语言提示词检验视觉风格、材质美学和交互机制。
• 模拟：除机器人研究之外，各行业的企业合作伙伴也在评估将 Genie 4 作为快速“从零到一”生成场景的工具，并找出需要进一步改进 Genie 的差距，以最好地满足这类模拟需求。

未来工作：迈向混合世界模型

未来进展的一条有前景的路径是混合世界模型，即把代码和语言模型逻辑化、结构化的推理能力，与像素级模拟丰富、感官化的表征结合起来。

把 Genie 和 Gemini 两个模型更紧密地结合起来，是朝这个方向迈出的早期一步。Gemini 在后台负责梳理结构、规划叙事时间线，Genie 则生成即时的物理现实——逐像素渲染出世界的样子、声音和反应。两者优势互补，有望催生出一类全新的世界模型，其连贯性、可控性和真实感都远超任何单一方案所能达到的水平。

负责任地构建世界模型

Genie 4 开辟了一个前沿研究的新领域，将实时生成与照片级真实感融为一体，带来一系列新的能力和维度，我们希望以负责任的方式逐步推出并加以探索。Genie 4 配备了严格的安全防护措施，与其他模型的安全政策保持一致。在发布这一预览版之前，我们通过内部严格的安全评估对 Genie 4 进行了检验，以防止生成有害或恶意内容。此外，我们特意先向可信赖的测试合作伙伴部署，以便在更广泛发布之前收集早期反馈。

为保持透明度，Genie 4 生成的所有视频和音频都将包含 SynthID——这是我们不可感知的数字水印技术，可帮助在视觉和音频模态中识别 AI 生成内容。

了解当前的局限

Genie 4 仍是一个处于早期、不断演进的研究领域。

虽然它能在较短的会话中维持连贯的环境，但视觉细节和物体恒存性仍可能随时间发生偏移或漂移——尤其是在模拟运行时间较长、经过多次复杂的提示词编辑之后，或在场景中穿行时。复杂的物理交互、实时音频准确性、可读文本渲染、空间精度以及长期一致性，都是正在持续研究的方向。我们以预览形式分享 Genie 4，是为了与社区共同学习，并安全地推进交互式模拟的前沿。

Genie 4 的后续计划

Genie 4 已作为研究预览版向可信测试者发布，并将很快登陆 Project Genie 中的 Google AI Ultra 订阅用户，以及 Gemini API 和 Google AI Studio 的早期访问合作伙伴。点击此处加入 Project Genie 中 Genie 4 的等候名单。

我们期待用户不久后就能走进这些世界，尽情尝试，并构建属于自己的交互式世界。

致谢

Genie 4 的诞生离不开以下核心贡献者：Hang Qi、Diego Rivas、Aleksander Hołyński、Inbar Mosseri、Jack Parker-Holder、Shlomi Fruchter、Tejas Kulkarni、James Assiene、Philip Ball、Jakob Bauer、Eddie Cao、Lucy Chai、Harris Chan、Kleopatra Chatziprimou、Hao Chen、Yoni Choukroun、Mark Collier、Enric Corona、Kurtis David、Ariel Ephrat、Maxime Gazeau、Ruiqi Gao、Chelsee Glover-Odom、Liangke Gui、Swaroop Guntupalli、Shan Han、Tingbo Hou、Jiri Hron、Hui Huang、Drew A. Hudson、Zhouyuan Huo、Linyi Jin、Christos Kaplanis、Dhrupad Karwa、Eunyoung Kim、Congtao Kuang、Eliot Laidlaw、José Lezama、Hao Li、Shuang Li、Yuchen Liu、Hanzi Mao、Mark Matthews、Matt McGill、Kay McKinney、Ricardo Monti、Mark Murphy、Joseph Ortiz、Roni Paiss、Frank Perbet、Ben Poole、Tal Reiss、Konstantinos Rematas、Guy Scully、Jeremy Shar、Shashank Shastry、Sri S、Omer Tov、Ruben Villegas、Andrey Voynov、Hongjie Wang、Luyu Wang、Kaustubh Sridhar、Mo Samsami、Stephen Spencer、Yufei Wang、Will Whitney、Rundi Wu、Joyce (Jingjing) Xie、Jesse Yin、Shiran Zada、Serena Zhang、Xiaofan Zhang、Zhengqi Li、Zhixing Zhang、Yuan Zhong、Shuo-yiin Chang、Dmitry Lagun、Ronny Huang、Yao Su、Ankush Gupta、Genzhi Ye、Haolin Jia、Weiqin Wang、Xi Xiong、Salah Zaiem、Carol Zheng。

Genie 4 的完成也离不开各合作团队的紧密协作。感谢所有跨职能合作伙伴，是你们让这次发布成为可能：Dina Bashkirova、Emil Bergner、Greta Borisko、Irina Blok、Melissa Byun、Gabe Clapper、Viral Carpenter、Michael Y. Chang、Maximo Cudich-Sieburger、Chloe Doan、Alisa Fortin、Shivani Ghanta、Vikram Gopali、Ezra Gorman、Khyatti Gupta、Sam Hasinoff、Philipp Henzler、Hector Hinestroza、Ed Hirst、Tyler Holland、Kristian Holsheimer、Tiffany Hu、Kapil Joshi、Randeep Katari、Pavan Kumar、Vikhyat Kumeria、Sam Kvaalen、Matthew Levine、Yinxiao Li、Yuchi Liu、Miao Luo、Nick Matarese、Kangfu Mei、Signe Nørly、Moises Oliveira、Eric Paskie、Manika Puri、Susanna Ricco、Andrey Ryabtsev、Cai Schumann、Nicole Brichtova、Andy Sekyere、Grace Shih、Melissa Smith、Duncan Noble Smith、Kenda Stewart、Rod Strougo、Jenn Sturgeon、Amy Zeng、Gaby Pearl、Eleanor Tomlinson、Kenyon Watson、Inês Ayer、Luke Talbot、Han-Yun Tsao、Guillaume Vernade、Karen Wang、Changchang Wu、Ian Wilkinson、Weijuan Xi、Jennifer Yick、Yunhan Zhao、Eric Zhang、Jason Zhang、Annie Zhou、James Zhou、Chris Walker、Alan Yam、Alex Chen、Cliff Lungaretti、Dan Motzenbecker、Kaloyan Kolev、Matthew Carey、Nate Zucker、Sam Lawton、Shashwath Santosh、Suz Chambers。

感谢 Raia Hadsell、Aäron van den Oord、Josh Woodward、Steve Seitz、Carlos Hernandez、Elias Roman、Jung E. Kim、Abhishek Bapna、Eli Collins、Tulsee Doshi、Carolina Parada、Jie Tan、Koray Kavukcuoglu 和 Demis Hassabis 在整个研究过程中给予的宝贵指导与支持。

最后，感谢我们的可信测试员和早期访问用户，你们提供的反馈帮助推动了我们的研究不断向前。