Google DeepMind 发布实时交互世界模型 Genie 4
Google DeepMind 发布世界模型 Genie 4,主打实时交互模拟、更强照片级真实感,并首次在实时世界模型中原生生成音频,包括环境声和可实时交互的人物对话。
推荐理由:官方完整说明了 Genie 4 的实时交互、原生音频和与 Gemini 协作机制,也坦陈当前在长时一致性和物理精度上的局限。
Google DeepMind 发布世界模型 Genie 4,主打实时交互模拟、更强照片级真实感,并首次在实时世界模型中原生生成音频,包括环境声和可实时交互的人物对话。
推荐理由:官方完整说明了 Genie 4 的实时交互、原生音频和与 Gemini 协作机制,也坦陈当前在长时一致性和物理精度上的局限。
10 月 14 日,禾赛科技正式发布三维世界数据引擎 Kosmo,同步推出集成 8K 影像系统的 AI 空间相机 Kosmo One 和云平台 Kosmo World,瞄准具身智能与世界模型的真实世界数据需求。
推荐理由:原文给出扫描效率、建模成本与机器人训练成功率的对比数据,可帮助读者评估真实世界三维数据在具身智能中的实际作用。
Google Research 发布三项研究,构建 AI 智能体自主湿实验室的基础模块。
推荐理由:原文给出 VERID 数字孪生、闭环适配体与全新蛋白设计三项进展的实验数据,可了解 AI 智能体走进湿实验室的真实差距与解法。
Waymo 宣布进入加拿大,将在多伦多布局完全自动驾驶出行服务,目标2028年迎接首批乘客。近期将先以人工驾驶方式采集高精地图并由自动驾驶专家进行测试;Waymo 与 Element Fleet Management 合作提供车队管理服务,将逐步创造数百个岗位。官方称基于超4亿公里完全自动驾驶里程,其车辆在严重伤害及以上事故中比人类驾驶少95%。
推荐理由:官方宣布进入加拿大市场的节奏与本地合作细节,读者可了解自动驾驶服务落地的分阶段做法。
Google DeepMind 发布 Gemini 4 Argon,定位为通用物理推理模型,在 Embodied Reasoning(ERQA)基准上以纯推理得分 87%,超过其他前沿模型。
推荐理由:官方发布了在机器人控制、Real2Sim 和自我改进等环节的具体示例,读者可以据此判断它在具身工作流中的实际用法。
World Labs 宣布与 AMD 签署最终协议加入 AMD,交易预计于 2026 年底前完成,需监管审批。李飞飞将出任 AMD 执行副总裁兼首席科学家,直接向 CEO Lisa Su 汇报;Justin Johnson 与 Ben Mildenhall 将继续带领 World Labs 团队组建前沿研究组织。
推荐理由:原文说明了双方从GPU合作到收购的演进,以及核心人员的具体去向,读者可判断这次整合对空间智能方向的改变。
Black Forest Labs 发布开源 World Action Model FLUX 3 Action(F3A),单步 7B 检查点在 RoboLab 上达到 38.3%±0.38 成功率。
推荐理由:原文来自模型发布方,完整公开了预训练、微调配方与消融细节,读者可以对照复现或迁移到自己的机器人任务。
NVIDIA 发布 Cosmos 3,一个基于混合 Transformer 架构的开放物理 AI 基础全模态模型,整合视觉推理、世界生成与动作预测。
推荐理由:介绍 Cosmos 3 作为开放物理 AI 基础模型的架构、基准表现和行业用例,为需要定制世界模型的机器人、自动驾驶和视觉 AI 团队提供了可直接参考的技术路线。
NVIDIA Alpamayo 2 Super 现已开放商用,基于 Cosmos 3 Super Reasoner 构建,采用强化学习后训练,支持轨迹预测、因果链推理、元动作、自动标注及视觉问答等多任务输出。
推荐理由:开放商业许可与可解释推理输出结合,自动驾驶团队能直接审查模型决策链,为安全验证提供透明度,降低从研发到商用部署的转换成本。
Google DeepMind 推出 Gemini Robotics ER 2,一个基于 Gemini 的机器人基础模型。该模型在视频理解、工具编排和多机器人协作方面实现阶跃式提升,使机器人能够推理、协作并解决真实世界任务。
推荐理由:DeepMind 把 Gemini 带到机器人领域,视频理解、任务编排和多机协作的叙事很宏大,但全是愿景,没有实测数据,是不是真正的 step change 得等细节。做机器人的可以先建个追踪。
Anthropic 与 Andon Labs 合作推出 Drone-Bench,用于测试 AI 模型自主操控四旋翼无人机在室内环境中定位并追踪指定人员的能力。该基准将任务分解为 3D 地图重建、定位、导航、目标检测与跟随五个子任务,并通过软件复现实现快速评估。实验表明,该任务链的难度足以区分不同智能水平的模型,并揭示 AI 在物理世界操控能力上的进步轨迹。
推荐理由:Anthropic首次公开AI端到端控制无人机执行监视任务,Fable 5仅因3D重建瑕疵未能全通。六个月内模型一致性突飞猛进,安全压力比技术潜力更紧迫。
Black Forest Labs 发布 FLUX 3 多模态基础模型,联合训练图像、视频与音频,其中视频预测占总计算成本超 95%,并与 mimic 合作推出基于 FLUX 3 骨干的视频动作模型 FLUX-mimic。
推荐理由:原文解释了同一骨干为何能同时支撑内容生成与机器人控制,并给出真实产线部署和延迟数字。
NVIDIA 宣布开源 Medical Physics Simulation 框架,这是 Isaac for Healthcare 中首个 GPU 加速的医疗物理仿真能力。该框架可并行运行 8,192 个机器人训练环境,将训练时间从超过 5 小时缩短至不到 2 分钟。CMR Surgical、Johnson & Johnson MedTech 等机构已在使用该框架。
推荐理由:首个 GPU 加速的开源医疗物理仿真框架,能把数千个训练环境并行跑,把训练从五小时压到两分钟,做手术机器人的团队可以直接拿来用,但对通用 AI 从业者影响不大。
Mistral AI 发布其首个具身导航模型 Robostral Navigate,为 8B 模型,仅用单个 RGB 相机即可根据自然语言指令驱动机器人自主导航,在 R2R-CE validation unseen 上达到 76.6% 成功率,比最佳单相机方法高 9.7 个百分点,比使用深度或多相机的最佳系统高 4.5 个百分点。
推荐理由:官方发布具备完整技术细节,单 RGB 相机在 R2R-CE 上超越多传感器方案,训练方法对机器人导航团队有直接参考价值。
原文正文仅包含网站 Cookie 设置说明,未提供关于巴黎办公室的部门、规模、职能或开业时间等具体信息。
推荐理由:Runway在巴黎设立研究办公室,聚焦世界模型和物理AI,30M投资不算大,但选在AI人才密集的法国是明智的长期布局,短期产品无变化。
Anthropic 发布 Project Fetch 实验第二阶段结果。在2024年8月原始实验中,配备 Claude Opus 4.1 的人类团队在操控四足机器人时显著超越无 AI 团队。新实验中,Claude Opus 4.7 无需人类协助即完成所有任务,速度比最快人类团队快约20倍,比无 Claude 团队快37倍以上,编码量减少近10倍。模型在传感器连接、路径规划等环节表现出色,但在精确移动沙滩球等闭环控制任务上仍存在困难。这些进展源于通用模型规模化,而非针对机器人领域的专项优化。
推荐理由:Anthropic 用 Claude Opus 4.7 自主操作机器狗,比当初的人类志愿者快 18-37 倍,代码量却少了十倍。这让「语言模型上手物理工具」从假想变成了可视的进度条,做具身智能和 agent 的人都该看一眼。
Qwen-RobotManip 是通义千问基于 Qwen-VL 的视觉-语言-动作(VLA)基础模型,引入覆盖表示、运动和行为三维度的统一对齐框架。仅使用开源机器人数据集和人演示视频,构建约 38,100 小时预训练语料,涵盖 15 种机器人形态。在 LIBERO-Plus 达 91.4%,RoboTwin-C2R Hard 达 69.4%,RoboCasa365 Composite-Unseen 达 14.9%,EBench 达 45.6%,RoboTwin-IF 达 72.0%,并在 RoboChallenge Table30 v1 generalist track 夺冠。模型采用 80 维状态-动作表示、人-机器人数据合成管道(1,933 小时第一人称视频转 24,808 小时数据)及上下文策略适配。
推荐理由:Qwen 这次发布的机器人模型,用统一对齐框架把跨实体数据规模化训练跑通了,OOD 泛化大幅领先,做具身智能的值得认真看一下。
Qwen-RobotWorld以语言为统一动作接口,采用双流Multimodal Diffusion Transformer(MMDiT)架构,将Qwen2.5-VL作为动作编码器。在4个基准测试中取得顶尖成绩,统一20余种机器人形态,基于860万跨场景训练对和1300多项操作技能。语言接口标准化500多种动作类别,支持操作、自动驾驶、室内导航的联合训练。还支持Scene2Robot人类到机器人转移及2–4路多视角几何一致视频生成。
推荐理由:具身智能的世界模型长期受限于单一形态,Qwen-RobotWorld用语言统一动作接口,把操作、驾驶、导航合训,多视角几何一致性和人类演示迁移是过去一年最扎实的落地信号,做机器人的别错过。
Qwen 发布三款基础模型——Qwen-RobotNav、Qwen-RobotManip 和 Qwen-RobotWorld。Nav 通过可控观测协议统一指令跟随、点/物体目标导航、目标追踪和自动驾驶五类任务,在 VLN-CE RxR 上达 76.5% SR,HM3Dv2 物体目标导航(仅 RGB)75.6% SR,EVT-Bench 追踪率 90.0%,NAVSIM 91.4 PDMS。Manip 利用规范状态-动作空间对超 38,100 小时异构开源机器人数据进行跨本体训练。World 通过自然语言动作接口协同训练 20 余种本体,预测操控、驾驶和导航的物理未来。三者共同将通用智能转化为物理行动。
推荐理由:Qwen把导航、操作和世界模型打包成机器人基础套件,用统一语言接口串起来,这是具身智能从单点突破走向系统化的信号,虽然离真实世界还有距离,但方向很清晰。
通义千问推出通用视觉-语言-动作模型Qwen-VLA,基于Qwen多模态骨干,将视觉感知、语言理解与空间推理扩展至连续动作生成和轨迹预测。训练分四阶段:文本到动作预训练(T2A)、持续预训练(CPT)、监督微调(SFT)和强化学习(RL)。在LIBERO上达97.9%,Simpler-WidowX达73.7%,RoboTwin-Easy/Hard达86.1%/87.2%,匹配或超越专精模型。数据涵盖超10,000小时公共机器人轨迹、1,000+小时内部真实轨迹及800万+合成仿真轨迹。
推荐理由:Qwen-VLA 把机器人操作、导航和跨实体控制统一进一个模型,在多个基准上打平甚至超越专用模型,这是通用具身智能的一个重要信号,但离实际可用还有距离。