总结下近来关于世界模型仿真的一些学习笔记
- 2026-04-20 21:14:17
总结下近来关于世界模型仿真的一些学习笔记
大家好，我是李慢慢。 最近几个月抽空研究了一些关于世界模型的东西，写个笔记出来给大家瞧瞧。 1、缘起CARLA 经常听说世界模型，但第一次用到它，是在CARLA 0.9.16这个版本里。在《CARLA 0.9.16 发布啦，快来看看有哪些更新吧！》一文里，提到“CARLA 0.9.16 集成了英伟达推出的强大新型渲染技术。全新的 Cosmos Transfer1 基础风格迁移模型，支持通过文本提示生成 CARLA 仿真输出的多种风格变体，涵盖建筑、车辆、天气及光照条件等方面的差异。借助 Cosmos Transfer1，仅需一组仿真输入数据，就能大幅提升 CARLA 生成的训练数据集的多样性！” 
一个CARLA中模拟出来的场景视频，通过Cosmos Transfer1，根据提示词能生成各种各样的风格变体的新视频，且非常真实，给人一种sim2real的感觉，这不就是我们想要的场景泛化吗？ 后来了解到，这种泛化，更多的是偏向于风格泛化（也称为风格迁移），比如它可以改变天气、光照、目标类型，路面情况，街景等，但是场景中的交通参与者的行为还是一样的。就像上图，虽然看起来很不一样了，但其实左前方依然有一辆大车，路边同样位置依然有建筑，道路依然为直道等等。 那如果想要连一些交通参与者的动态属性也给泛化一遍，该怎么做呢？ Cosmos Transfer只是Cosmos这个世界基础模型的组成之一，Cosmos还有其它的组件，用来控制其它的“泛化”； 2、从CARLA到COSMOS 我在《英伟达的Cosmos是个什么东东》中写到：“我的粗暴的理解：Cosmos Predict负责预测场景变化，Cosmos Transfer负责生成符合物理规律的逼真可控视频，两者协作产出场景视频；这些视频再由Cosmos Reason完成数据评估、标注与分析，最终形成可用的自动驾驶和机器人训练集。” 
所以到这里，相信大家已经明白： CARLA + Cosmos Transfer可以做“规则自定义场景的风格迁移”，非常适合来生成指定场景的训练集，当然也可以用来做测试； 而纯Cosmos则是根据输入“文本/图像/视频/点云”这些直接生成各种天马行空（但符合物理世界规律）的新视频（点云未知），能生成更大规模的训练集，这个也是可以用来做测试的哦。 两种方式各有优缺点吧。 在自动驾驶测试中，如果是做指定场景下的测试，用前者比较好，因为规则很明确，可重复性测试。如果是做不指定场景的测试（比如大里程测试、问题场景挖掘等）则适合用后者。 黑猫白猫，能抓到老鼠的都是好猫。 3、COSMOS能做控制闭环吗？ 想到这个问题，因为了解到COSMOS其实属于生成式AI，即基于指定提示词，直接把后续内容给生成出来（生成的内容越往后越离散），那么在生成过程中，它能实时接收外界输入，实时闭环控制生成的内容吗？ 答案是可以。 这个答案我是在群里看到的。群友@鲍总 在NVIDIA GTC 2026大会上，在美国线下，实际操作开了一把由世界模型驱动的驾驶模拟器（据说可以做到实时呢）。 
4、从COSMOS上衍生的应用 COSMOS只是一个世界基础模型（WFM，World Foundation Model），这个世界基础模型，是基于海量的互联网视频，训练出来的一个通用模型（不只是驾驶，而是整个人类世界），相当于只做了模型的预训练。如果想要让模型更好用，肯定还要在指定应用场景下做有针对性的模型微调（即后训练）的。上面提到的能闭环仿真的AlpaDreams是一个应用，能生成各种驾驶训练集的Cosmos Drive Dreams也是一个应用。关于Cosmos Drive Dreams可以阅读《用世界模型驱动未来：NVIDIA Cosmos-Drive-Dreams部署与实践》了解下其基本原理甚至进行实操。 5、世界模型除了COSMOS，还有别的吗？ 当然有。 世界模型是一个概念，一个技术方向。而COSMOS只是NVIDIA公司针对这个技术方向推出的一个产品，只是因为NVIDIA宣传做的好，生态做的好，所以我们更多的是知道英伟达的世界模型。但其实真正懂行的才知道，世界模型领域做的好的，其实应该看JEPA系列。 
科普一下：JEPA（Joint Embedding Predictive Architecture，联合嵌入预测架构）是一种革命性的自监督学习框架，核心是让 AI 在抽象表示空间中预测未来，而非直接预测像素或文本 token，以此构建对世界的理解模型。Yann LeCun（杨立昆），图灵奖得主，JEPA 的主要提出者和推动者。他于2022 年在《A Path Towards Autonomous Machine Intelligence》（迈向自主机器智能的路径）立场文件中首次系统定义 "世界模型" 概念，并提出 JEPA 作为实现这一愿景的核心架构。杨立昆始终坚持开放研究理念，其主导的 JEPA 世界模型从理论到实践均保持高度开源性。所以学习世界模型的朋友更多的还是看JEPA系列的论文和工具。 然后，国内也有。 此前我在《自动驾驶仿真新技术，世界通用模型，让智驾路上偶遇大象/犀牛/恐龙...》一文中介绍到国内做世界模型的科研机构，是中科院和CreateAI，路子和国外其实是一样的，也开源了，大家也可以下载了看看。 6、写在后面 工作之余研究一点世界模型的东西真的挺不容易，这是个全新的东西，看论文+部署工程经常是一步三查，大家如果有看我的文章有学到点东西，可以帮我点个赞。如果上述自学笔记有什么疏漏和错误也请帮忙指出，共同学习，持续进步。谢谢。 接下来我会研究下英伟达的alpamayo，这个是英伟达开源出来的基于世界模型的自动驾驶方案，有感兴趣的欢迎共同唠唠。 以上，本文完。
本文来自网友投稿或网络内容，如有侵犯您的权益请联系我们删除，联系邮箱：wyl860211@qq.com 。
