NVIDIA Cosmos-Framework 教程:在 Colab 上构建紧凑版 Omnimodal Mixture-of-Transformers 世界模型
本教程利用 NVIDIA cosmos-framework 的 CLI、输入模式和模型结构,在 Google Colab 上构建并训练了一个紧凑的 Omnimodal Mixture-of-Transformers 世界模型。标准 Colab 硬件(T4 GPU,显存不足 80 GiB、硬盘空闲低于 150 GiB)无法运行真实 Cosmos 3 检查点(如 Nano-16B 需单卡 H100 及以上),因此教程转向模拟实现:通过共享跨模态注意力与文本、视觉、动作流的模态特定专家路由,使用合成物理世界数据训练小型模型,并跟踪训练损失与自回归展开,演示模型学习跨模态关系及预测未来潜在状态的过程。