Google DeepMind 发布实时交互世界模型 Genie 4
Google DeepMind 发布世界模型 Genie 4,主打实时交互模拟、更强照片级真实感,并首次在实时世界模型中原生生成音频,包括环境声和可实时交互的人物对话。
推荐理由:官方完整说明了 Genie 4 的实时交互、原生音频和与 Gemini 协作机制,也坦陈当前在长时一致性和物理精度上的局限。
Google DeepMind 发布世界模型 Genie 4,主打实时交互模拟、更强照片级真实感,并首次在实时世界模型中原生生成音频,包括环境声和可实时交互的人物对话。
推荐理由:官方完整说明了 Genie 4 的实时交互、原生音频和与 Gemini 协作机制,也坦陈当前在长时一致性和物理精度上的局限。
Google DeepMind 发布 Gemini 4 Argon,定位为通用物理推理模型,在 Embodied Reasoning(ERQA)基准上以纯推理得分 87%,超过其他前沿模型。
推荐理由:官方发布了在机器人控制、Real2Sim 和自我改进等环节的具体示例,读者可以据此判断它在具身工作流中的实际用法。
Black Forest Labs 发布开源 World Action Model FLUX 3 Action(F3A),单步 7B 检查点在 RoboLab 上达到 38.3%±0.38 成功率。
推荐理由:原文来自模型发布方,完整公开了预训练、微调配方与消融细节,读者可以对照复现或迁移到自己的机器人任务。
NVIDIA 发布 Cosmos 3,一个基于混合 Transformer 架构的开放物理 AI 基础全模态模型,整合视觉推理、世界生成与动作预测。
推荐理由:介绍 Cosmos 3 作为开放物理 AI 基础模型的架构、基准表现和行业用例,为需要定制世界模型的机器人、自动驾驶和视觉 AI 团队提供了可直接参考的技术路线。
NVIDIA Alpamayo 2 Super 现已开放商用,基于 Cosmos 3 Super Reasoner 构建,采用强化学习后训练,支持轨迹预测、因果链推理、元动作、自动标注及视觉问答等多任务输出。
推荐理由:开放商业许可与可解释推理输出结合,自动驾驶团队能直接审查模型决策链,为安全验证提供透明度,降低从研发到商用部署的转换成本。
Google DeepMind 推出 Gemini Robotics ER 2,一个基于 Gemini 的机器人基础模型。该模型在视频理解、工具编排和多机器人协作方面实现阶跃式提升,使机器人能够推理、协作并解决真实世界任务。
推荐理由:DeepMind 把 Gemini 带到机器人领域,视频理解、任务编排和多机协作的叙事很宏大,但全是愿景,没有实测数据,是不是真正的 step change 得等细节。做机器人的可以先建个追踪。
One brain. For any robot. 🤖 我们正在推出 Gemini Robotics 2:我们的下一代物理 AI,为仿人机器人带来全身智能、高级灵巧性、多机器人团队协作等能力。
推荐理由:这是谷歌把通用大模型能力注入机器人的关键一步,全身智能和灵巧操作如果能兑现,制造业的自动化想象会彻底改写。
Black Forest Labs 发布多模态基础模型 FLUX 3,单一架构内联合学习图像、视频和音频,可单次生成最长 20 秒带音频视频,其初步人偏好评测中优于 Runway Gen-4.5(77%)和 Grok Imagine Video(69%)。
推荐理由:原文把 FLUX 3 的多模态训练与其在工业机械臂上的控制实验串联起来,并给出冻结骨干的消融数据,可帮助读者理解视频表征迁移到机器人操作这条路线。
Black Forest Labs 发布 FLUX 3 多模态基础模型,联合训练图像、视频与音频,其中视频预测占总计算成本超 95%,并与 mimic 合作推出基于 FLUX 3 骨干的视频动作模型 FLUX-mimic。
推荐理由:原文解释了同一骨干为何能同时支撑内容生成与机器人控制,并给出真实产线部署和延迟数字。
NVIDIA 在 Hugging Face 上开源了 Cosmos 3 Edge,一个 40 亿参数的世界模型,旨在帮助机器人和视觉 AI 智能体在边缘设备上理解环境、实时推理并生成动作。
推荐理由:NVIDIA 把世界模型的能力压进 4B 参数,直接在 Jetson 上实时推理并生成机器人动作,对做具身智能的人来说是个标志性信号,边缘部署终于可以摆脱云端依赖了。
面壁智能联合 OpenBMB 在世界人工智能大会上发布并开源首个具身智能成果 MiniCPM-Robot 系列,包括 1.5B 通用 VLA 模型 MiniCPM-RobotManip 与 0.9B 跟踪模型 MiniCPM-RobotTrack。
推荐理由:1.5B VLA模型通过视觉token压缩将带记忆推理成本降至与单帧反应式相近,使得需要持续上下文理解的机器人操作任务不再受算力约束。
推荐理由:面壁智能把1.5B的VLA模型完整开源,让个人开发者也能在真实机器人上跑操作和跟踪,这个开放程度在具身领域很罕见,做机器人的可以直接 clone 跑一下。
昆仑万维董事长方汉在WAIC上宣布2026年为“世界模型元年”,并发布Matrix-Game 3.5世界模型、Mureka v9.5与O3音乐模型。Matrix-Game 3.5实现Patch级记忆注入,5B模型在720p分辨率下单卡可达20FPS实时生成,核心架构已开源。
推荐理由:Matrix-Game 3.5 用 Patch 记忆把世界模型推到单卡实时交互,还开源了,做游戏和具身智能的值得试。Mureka v9.5 和 O3 把 AI 音乐做成版本化创作,工具感很强。
昆仑万维在WAIC论坛宣布2026年为“世界模型元年”,并发布Matrix-Game 3.5世界模型与Mureka v9.5、O3音乐模型。Matrix-Game 3.5实现Patch级记忆注入,5B模型在720p下可单卡20FPS实时生成,核心架构开源。Mureka v9.5指令精准度从6.92提升至7.62。
推荐理由:Matrix-Game 3.5 用 Patch 级记忆实现长时一致性与实时交互,为具身智能数据生成与游戏环境演化提供了可参考的架构;Mureka 将音乐生成转向「版本化制作」,结合 Agent 控制多维度调整,让非专业创作者也能迭代作品。
蚂蚁集团旗下具身智能团队 Robbyant 发布 LingBot-VA 2.0,首个原生具身基础模型。该模型采用因果 DiT 架构,视频专家约 13.0B 参数(约 1.9B 激活),训练规模约 15.3B 参数,推理时每 token 约 2.5B 激活。模型引入多块预测(MCP)实现 2.3 倍训练加速,并通过前瞻推理将推理延迟降至 142 ms/chunk。在 RoboTwin 2.0 的 50 个任务上,干净与随机演示数据平均成功率分别达 93.8% 和 93.4%。
推荐理由:具身智能领域第一个从零预训练的因果视频-动作模型,将世界状态和动作统一在一个隐空间,异步推理优化到 225Hz,做机器人的值得仔细研究。
蚂蚁灵波开源新一代实时交互世界模型 LingBot-World 2.0(14B 参数),支持施法、攻击、跳跃等丰富角色动作及文本驱动事件(如切换场景、召唤风暴),内置 Pilot Agent 与 Director Agent 实现世界持续演化,并支持多人同时交互。模型采用因果预训练范式和混合双向自回归注意力掩码(MoBA),可稳定输出 720p/60fps 实时画面,长达一小时测试画质不衰减。通过一致性蒸馏与 DMD 降低采样成本,结合注意力 kernel 优化、混合并行推理、动态 KV 缓存调度和异步流媒体传输实现低延迟交互。模型权重及推理代码以非商用协议开源,SGLang 已适配,并提供 Reactor PC 端和灵光 APP 在线体验。
推荐理由:蚂蚁灵波这个开源世界模型把实时世界生成推到了小时级还不崩,720p/60fps实时交互,做开放世界游戏或自动驾驶仿真的团队值得上手测。
蚂蚁灵波科技正式开源LingBot-Video,这是全球首个基于MoE架构、面向具身智能的视频生成基础模型。总参数30B,推理时仅激活约3B,效率较同规模Dense架构提升约3倍。模型引入7万小时VLA、VLN、Ego等机器人数据,并通过多维强化学习奖励系统对齐物理合理性与任务完成度。在RBench上总分0.620,超越Wan2.6等模型;在Physics-IQ Verified评测中排名第一。可用于机器人动作预测、仿真数据生成等方向。
推荐理由:蚂蚁灵波开源了首个面向具身智能的视频基模,用MoE控制推理成本,对机器人仿真和世界模型研究是个真工具,做具身的可以跑起来了。
Robbyant 推出 LingBot-VLA 2.0,一个 6B 参数的开源视觉-语言-动作(VLA)基础模型。它以 Qwen3-VL-4B-Instruct 为骨干,采用 MoE 动作专家架构,通过 55 维规范向量统一表示不同机器人的状态和动作。训练数据涵盖约 60,000 小时高质量数据(50,000 小时机器人轨迹 + 10,000 小时第一人称人类视频),覆盖 20 种机器人配置。在 GM-100 双机械臂基准测试中,模型在多个平台上超越 π0.5 和之前版本。模型权重、代码和技术报告已以 Apache-2.0 许可开源。
推荐理由:蚂蚁Robbyant放出的开源VLA 2.0把通用机器人策略往前推了一步,60,000小时跨具身数据、统一动作空间和MoE设计对做机器人的团队是实打实的参考,不是又一个lab-only的demo。
Mistral AI 发布其首个具身导航模型 Robostral Navigate,为 8B 模型,仅用单个 RGB 相机即可根据自然语言指令驱动机器人自主导航,在 R2R-CE validation unseen 上达到 76.6% 成功率,比最佳单相机方法高 9.7 个百分点,比使用深度或多相机的最佳系统高 4.5 个百分点。
推荐理由:官方发布具备完整技术细节,单 RGB 相机在 R2R-CE 上超越多传感器方案,训练方法对机器人导航团队有直接参考价值。
蚂蚁集团旗下具身智能公司Robbyant开源LingBot-Vision,一套自监督视觉Transformer家族,专为密集空间感知设计。旗舰ViT-g/16参数约1.1B,采用掩膜边界建模训练,将边界作为原生预训练信号。在密集空间任务中,该1B模型匹配或超越参数规模高达7倍的大模型(如7B DINOv3)。模型以Apache-2.0许可证在Hugging Face开源,提供ViT-g、ViT-L(300M)、ViT-B(86M)、ViT-S四个规模。
推荐理由:在视觉基础模型里把边界当作核心信号,这个思路很反常识,1B模型在深度估计上超过7B的DINOv3,做机器人的可以认真看看。