2023 年值得投配资，于开丞刚开始做“世界模型”时，处在一种他自己形容为“孤独和无助”的状态里。他经常找人聊这个方向，得到的反馈大多是：太远了，天方夜谭。三年后，世界模型成了 AI 行业最热的词之一；而在热潮到来之前，他已经拿过世界冠军，又否定了那套让自己获胜的技术路线。
那一年，ChatGPT 正席卷一切，几乎所有注意力和资本都涌向了大语言模型。世界模型还主要存在于论文里：让机器在内部建立对物理世界的理解，并据此预测和决策。Yann LeCun 在讲，但相信的人不多，愿意投入资源的人更少。
到 2026 年，情况反了过来。李飞飞、Yann LeCun 等一众大牛纷纷投身世界模型创业，拿到数十亿美元融资；大模型公司、自动驾驶公司、机器人公司和游戏公司，也开始把“世界模型”写进自己的叙事。一个学术概念，进入了物理 AI 叙事的中心，也成了资本市场上估值快速抬升的方向之一。
对于开丞来说，这更像一场迟来的热闹。几年后再回头时，他发现，自己曾经视为业界领先并持续追赶的巨头，也走到了同一条赛道上。他形容那个时刻：“回头一看，原来你也在这里。”
于开丞与“让机器理解物理世界”的交集，可以追溯到近十年前。2016 年读博期间，他研究的是自动机器学习（AutoML），让机器自己学会如何学习。博士毕业后，他以“阿里星”身份加入阿里巴巴达摩院，转向自动驾驶视觉感知。代表作 BEVFusion 将激光雷达与摄像头的数据融合到统一的物理空间中，成为多传感器融合方向被广泛引用的工作。
2023 年，他离开达摩院，到西湖大学组建自主智能实验室（AutoLab），用生成式模型做世界模型。2024 年，团队拿下 ECCV 自动驾驶赛道第一。今年，团队又拿下 Fail2Drive 榜单第一。
然后，他做了一件不太符合直觉的事：否定了自己最成功的工作。
在与一家国内一线车企深度部署的过程中，于开丞和团队开始怀疑这条路线的根基。用生成模型生成训练数据，再拿这些数据去训练模型；可既然模型已经能生成逼真的数据，说明它已经在一定程度上理解了这个世界，那么，继续渲染像素究竟是为了什么？
2024 年底，团队转向隐式路线，提出“概念世界模型”：不再生成像素，而是在抽象的数学潜空间中建立物理概念的表征。模型像人一样，把复杂场景拆解成有限的概念，再重新组合这些概念，理解训练数据中从未完整出现过的新场景。
这条路线与 LeCun 的 JEPA 同属隐式阵营。区别在于，在于开丞看来，JEPA 没有回答“潜空间里装着什么”，他们给出的答案是：可组合的物理概念。
它试图解决的，是物理智能最难也最昂贵的问题：泛化。
2025 年，团队在内部实验中观察到，当概念拆解与关联机制建立后，模型在复杂任务上的成功率较传统模仿学习与强化学习基线显著提升，同时保持了较低的预测成本。这一结果成为技术路线公司化的重要依据，也让团队成为国内少数完成隐式世界模型初步验证的团队之一。
2026 年 1 月，于开丞将这套研究成果带出实验室，在杭州创办了西湖数智（Awomo）。启动时，团队只有于开丞和首席科学家 Tong 两个人。五个月后，一批被他称为“持续证明过自己的小天才”的人聚到了一起。公司近期已完成种子轮及天使轮系列融资，累计金额超过 1 亿元人民币，投资方包括英诺基金、东方嘉富基金、正轩投资、天启资本、西湖创新投资基金、金蚂投资等机构。
这是于开丞第一次公开深度讲述这条路线背后的思考：为什么主流的数据驱动路线存在天花板，为什么显式生成注定更加昂贵，以及一个研究者如何完成两次推翻——一次质疑行业共识，一次否定自己最成功的工作。
以下是 DeepTech 与于开丞对话的全文。
所有人当时都做错了？
DeepTech：这是西湖数智第一次公开亮相。外界目前对你们的了解，基本只有“西湖大学孵化”和“做世界模型”这两个标签。先从头讲讲，你们到底在做一件什么事？
于开丞：我们在做一个物理世界的大模型，从预训练到后训练的全栈。
我们的核心思考是这样的：大语言模型是关于语言的，语言本身是无关乎对错的。你说一句话，模型没有办法靠观察物理世界来验证这句话是不是对的，它只能跟人的价值去对齐。所以大语言模型很难实现真正的自我进化，也很难量化它到底有多好。
但物理世界模型不一样。它是关于物质的，关于真实的世界。它的训练信号来自于对世界的真实观察。你预测一个物体会往左倒，结果它往右倒了，这个反馈是客观的。这种自我监督的能力，也是让物理世界的大模型能够不断进化的理论基础。
我们做的是广义的物理智能。自动驾驶是最早的试验场，它的数据和评测较成熟，能较早暴露整个物理 AI 都会遇到的泛化问题。
目前具体在做的事，是通过一种高效的方式去实现对物理概念的拆解。当你在一个场景里习得的技能可以拆解成一些基本概念，到了一个新的场景、新的逻辑下，这些概念也可以往你已有的世界观里去拟合。拟合上了，你就可以快速应对新的环境。如果拟合不上，你也知道这个时候需要重新学习。有一生二、二生三、三生万物的感觉。
DeepTech：“在概念空间里推演”听起来有点抽象，能不能落到一个具体任务上？比如让机械臂抓一个杯子，现在主流的 VLA 方案也能做，你们的方法跟它们在过程上有什么不一样？
于开丞：抓杯子这个场景其实太简单了，不太能体现我们的优势。因为它是一个非常简单的交互，现有方法也能做到。
我们的模型真正起作用的地方，是在处理复杂的、意外频发的任务上。举个例子，你在抓杯子的过程中，突然有一个其他物体砸到了杯子，或者你需要在抓杯子的同时去关掉旁边一扇门。遇到这种情况，它会把场景拆解成几个基本概念，先理解这些概念，然后在脑子里推演未来可能出现的变化：杯子会怎么移动？被碰到了会怎样？然后把推演结果导引成一组连续的动作，而不是说我先把杯子抓了放下，再走过去关门，这么机械地分步执行。
这些推演不是在像素层面发生的，是在一个抽象的概念空间里完成的。
DeepTech：这套想法是如何得来的？
于开丞：也是一步一个脚印做出来的。最早在达摩院，我们三个人的小团队做了一个工作叫 BEVFusion。当时面临的问题是怎么把激光雷达和摄像头这两种传感器的数据融合到一个物理空间里。
当时所有人的做法都是从激光雷达的 3D 点出发，到图像空间中去找对应的纹理信息，让它们结合起来。想法很自然：你有 3D 的位置，你有图片的纹理，两者合在一起，就能实现准确的 3D 预测和世界理解。
但这个思路是错的。因为点和图的 3D 观测不一定在同一片区域同时出现。很多时候只有点没有图，很多时候只有图没有点。按原来的架构，它永远有一些区域覆盖不到。我们希望多传感器是 1+1 大于 2，当激光雷达失效的时候摄像头可以补位，反过来也一样。但当时的设计连交集都做不好。
所以不客气地说，所有人当时都做错了。
我们的做法非常简单：把两个分开建模，然后再聚合到一起。思路很简洁，但收获了非常大的关注。当时 MIT 也有一篇类似的工作，他们在工程优化上比我们做得好很多，但没有中当年的 NeurIPS 2022 ，我们中了。原因就是我们对这个问题的解构确实更本质。
DeepTech：BEVFusion 解决的是感知融合的问题，本质上还是在“让机器看得更准确”这个框架里。它是怎么把你引向对整个数据驱动范式的怀疑的？
于开丞：BEVFusion 的目的其实是解决自动标注问题。自动驾驶时代，一开始的思路就是数据驱动、规模效应、scaling law，标注更多的数据，模型就会更好。但标注成本极高，每天每辆车在路上跑有大量数据等待被标注，所以我们要先把标注成本打下来。
但做完之后我们发现第二个问题：当你已经把能标的数据都标完了，它还是解决不了核心问题。
我们中间也做过一些数据重建的工作，比如世界上最早的一批雷达 NeRF、传感器跨域渲染。但我们很快发现，重建对智能性的提升并不显著。你有 100 万个场景，就需要 100 万个不同的神经网络去描述它们。它并没有让一个模型变得更聪明，只是帮你修复一些端上的 case 和 bug。这就是降本增效，不是智能性的本质突破。
所以我们很快就没有大投入了。
DeepTech：那什么时候看到了转机？
于开丞：2022 年年底。我们关注到 diffusion 模型已经可以生成图片了，那一个自然的想法就是：你既然能生成图片，说明你理解了一定的世界，能不能在 3D 世界下做同样的事情？
这个想法在达摩院期间就启动了，但很不幸，没有完成。因为这件事太偏学术了，我决定到学校里去，把它做得更扎实。这也是我离开达摩院、加入西湖大学的原因。
DeepTech：2023 年你到西湖大学组建 AutoLab，后来在 ECCV 和 Fail2Drive 上拿第一的那批工作，其实还是生成式的显式路线，跟你们现在讲的“概念世界模型”并不是一回事。这中间发生了什么？
于开丞：我们一开始做的确实还是显式的方向，用生成模型去生成带3D标注的未来视频帧。这个逻辑也很简单：你没办法见到某个场景的数据，那就生成出来。这可以大幅压低数据采集成本。
这条路我们走得很成功。2024 年拿了 ECCV 第一，拿了世界冠军。2025 年在上面叠加了自我进化的框架，成功率又大幅提升。
但做到那个阶段，我们开始问自己一个问题。
你用大量的数据去喂养一个生成模型，让它生成可以用来训练的数据。那你都能生成可以用来训练的数据了，按基本逻辑，你肯定已经理解了这个世界的所有元素。既然你已经理解了，为什么还要花大量的时间去生成新的数据，再拿去训练？
你都已经能理解这个场景了，又非要硬生生去生成一大批数据，再去喂养它。这件事我们觉得不对。
DeepTech：有什么实际的证据去印证这个判断吗？
于开丞：当时我们跟一家国内一线车企在做深度部署，双方在合作过程中都开始觉得不太合理。
而且我们发现了一个“打地鼠”的问题。在整个驾驶模型的训练中，你往数据集里多放一类场景的数据，这个场景表现好了，但其他场景可能就变差了。引入新场景的时候，各种问题重复出现，就像打地鼠，按下去一个，另一个又冒出来。
我再举一个更具体的例子。现在的自动驾驶，本质上就是把大量场景在训练样本中反复记忆。就像一个学生在背考题，他可能背得特别好，但不代表他真正理解了。假设你在路边摆一块临时停车路牌，几个工人用手写字写了一个“此处禁止右转”，画了一个标志往那一放。我觉得现在你放任何一辆自动驾驶的车，它都不可能准确识别，因为它在训练样本中完全没见过这种东西。
但人类不是这样的。你把大语言模型训练到足够好的位置，它能非常通用地理解各种各样的人类表述，你用的时候会觉得它很有智能、很有灵性。本质上就是它找到了一个通用的表征，使得所有任务可以在同一个空间下学习。
具身智能如果不去寻求一个更好的模型表征，它所需要的数据体量可能远超我们能采集的极限。而且它不是真正在理解语义、行为和场景三者之间的关系。
DeepTech：所以这是一次自我否定：你们是在自己最成功的工作里发现了这条路的天花板。从起疑到彻底转向，中间隔了多久？
于开丞：是的。在 2024 年年底，我们启动了隐式世界模型的研究。2025 年初找到了苗头，2025 年中发现有希望，2025 年中下拿到了一个泛化性非常强的例证。当你把概念的拆解和关联做好，成功率对比传统的模仿学习加强化学习有断崖式的提升，而且预测成本非常低。
这两件事给了我们信心，也是决定出来创业的契机。
DeepTech：你说的“概念拆解”，在模型里具体是怎么实现的？
于开丞：我们对概念的拆解体现在模型的设计和优化过程，这两个层面都做了底层的创新。拆解出来的概念存在一个隐式的思考空间里，你可以理解为模型有一个记忆区域，里面存储的就是对具体场景的概念拆解。
DeepTech：这种概念拆解的思路是怎么想到的？
于开丞：其实来自于对人类认知方式的思考。
假设地球上突然出现一个外星物体。我相信不会有任何一个人敢说，我光看了一眼，没有做任何探测和研究，就已经掌握了这个东西的属性。不会有人这么讲的。
那我们拿到一个新物体之后在干什么？我们用各种手段去探测它、研究它。这个研究过程本质上在做一件事：找心中的标尺，对齐我们内心已有的概念体系。这个材质是硬还是软？是金属还是塑料？是可以移动的物体，还是可以使用的工具，还是只是一个摆件？
我们是在各种试探和观察的过程中，去对齐内心已有的那套概念。如果一个东西太过新奇，对不齐任何已有概念，那我们就会给它产生和建立一个新的概念。
这套过程就是人类的认知过程。我们的模型也是在对齐这个过程，只是找到了一个可以规模化训练的方式来实现。相当于模型在隐空间里“查字典”：对得上的概念直接调用，对不上的就新建词条。
当然另一个原因是，我们当时做了一个非常探索性质的先导实验。那个实验中发现的现象，在算法层面上证明了对概念进行拆解和组合理解的可能性，从技术上走通了这件事。这也是整个技术路线的大背景。
DeepTech：在具体的工程中，有没有哪些当时看起来是捷径、后来被证明是弯路的设计？
于开丞：有，这确实是苦涩的教训。
早期设计世界模型的时候，我们为了提升效果，做过很多物理先验的注入，包括 3D 一致性约束、给注意力机制加物理先验。在数据不足的时候，这些设计确实能提升效果。
但我们发现，当规模化开始上量，这些简单的物理规律模型自己很容易就能学会。你额外加的设计反而会拖慢整个模型的吞吐和效率。所以最终我们把这些设计全拿掉了。
这跟大语言模型时代的苦涩教训是一样的，人为引入太多先验，会损害模型的迭代速度。
为什么坚持隐式模型？生成得再真实≠理解世界
DeepTech：现在做世界模型的团队不少，JEPA 方向、视频生成方向都有。你觉得你们跟他们在实际能力上的核心区别是什么？
于开丞：我们构建了一个独特的隐空间。无论是 JEPA 那种完全不要语义特征的纯隐式表征，还是显式生成 3D 世界的路线，跟我们都有很大区别。
我们的位置是在潜空间之上、因果推理之下。我们坚定地认为做因果推理是终极愿景，但现在得先从可规模化的概念表征做起。
DeepTech：如果一家大公司用足够大的算力把显式模型做到你们目前的水平呢？
于开丞：我觉得显式的 3D 模型永远达不到隐式模型的同等水平，因为它们从一开始就是南辕北辙的两个方向。
从商业角度看，显式 3D 生成现在主要用于游戏和短视频，大家追求的是酷炫的效果、fancy 的交互。但我们物理世界下的场景，有点像看监控视频。谁愿意看监控视频呢？非常无聊，就是在那重复、缓慢地播放真实发生的事件。99% 的时间是无聊的。所以从深度学习的优化激励上来看，追求普遍好看的效果和追求物理真实的准确描述，本身就是两个不同的目标。
从技术角度看，哪怕你铁了心就要做一个纯物理真实的显式生成，你也有第二个问题：我们的隐式模型不需要渲染出绚丽的像素，但它在底层构建了一个核心认知，这个认知直接驱动下游的物理理解和后续任务。而显式世界模型要生成未来每一秒钟的状态，通过渲染来做推理，这种方式天生更耗资源。同等模型规模下，它的资源消耗一定远高于我们，因为我们不需要渲染那么多像素，而且我们的推理过程是并行的。
DeepTech：当前世界模型是个非常火的概念，很多带着世界模型标签的公司已经有了非常高的估值和融资情况，你们如何看待世界模型的未来呢？
于开丞：要谈未来，得先说清楚用什么标准看今天。我不认为应该用融资金额和估值去评判一家模型公司的能力。世界模型的竞争才刚刚开始——今天的高估值，只能说明这个方向被看见了，说明不了谁做对了。
对我来说这不是一个追来的风口。2015 年我在香港大学读计算机时进入 AI 领域；2016 年到 EPFL 直博，研究的就是“让机器自己学会怎么学习”（自动机器学习），算是参与这个领域最早期的那批人，毕业之后以“阿里星”身份加入达摩院做自动驾驶，再到 2023 年加入西湖大学全职做世界模型。十年走下来，资本热度的变化对我们的路线不会有任何影响——热的时候我们不飘，冷的时候我们也没停过。
更多聪明的人和钱进入这个方向，对我们是好事：它证明三年前我们押的是真问题。大家路线不同，有人做生成、有人做隐式，最后比的不是谁的故事讲得好，是谁先让模型真正理解物理世界。这会是一场长跑，我们按自己的节奏跑。也是因为我们的早期沉淀才获得资本青睐，而不是说我们看到市场火热再跳进来的。
DeepTech：聊了这么多这条路线的优势，那么如今的概念世界模型又有哪些不足呢？
于开丞：两方面。一个是数据。我们需要多样化的数据，不是同一种场景的大量重复，而是各种不同维度的标注数据。这个标注和采集的开销比较大。
另一个是规模化。大家都知道现在租卡比较难，资金需求越来越大，这确实是挑战。
从技术维度上，坦白说概念世界模型还在非常早期的阶段。我们需要持续优化效率，增加训练数据量，跟下游任务做更好的结合。另外还要构建一个更靠谱的评测方式。我们发现，单纯去评测“生成的未来视频有多像”并不是本质的评测方式。我们也在做一个新的评测集，去衡量模型对不同概念组合之后产生的未来的预测能力。
DeepTech：会考虑开源吗？
于开丞：会。物理世界模型是一个漫漫长路，我们希望用开源的力量让大家一起加入。我们会把早期的模型开源。
先看懂世界，再行动，最后操作世界
DeepTech：说回公司，你们的核心团队是怎么走到一起的？
于开丞：我跟 Tong 是在瑞士就认识了。他刚到瑞士读书的时候，还是我去机场接的他，因为当时是疫情期间。我们不但是生活中的好朋友，也是学术上非常欣赏彼此，这些年一直保持着高密度的交流。我在做世界模型，他在地平线也在做世界模型，我们算是同一个领域在不同机构各自推进。
公司的另外两位联合创始人，是我在阿里工作时认识的，都有万卡级别的大模型训练经验，是大模型团队最核心的工程推手。
现在团队还在持续引入新的人。我们找的是一种人，我管他们叫“持续证明过自己的小天才”。没有脱离一线的、在各自领域持续拿到成果的人。里面有非常顶级的学者，也有在工业界和学术界都拿过大成果的。
DeepTech：那么从今年一月成立至今，你们已经做到什么阶段了？
于开丞：现在主要是在搭建预训练所需要的基础设施，做大量的数据准备，以及团队的早期建设。模型的演进也在如火如荼地进行，我们的规划是按三步来展开。先看懂世界，再在世界中行动，最后操作世界。理解、移动、操作，这是我们在模型能力构建上的三部曲。
DeepTech：这应该是一个非常耗费精力的阶段吧，你如今同时还是西湖大学的博导，是怎么分配精力的？
于开丞：非常感谢学校的支持。我们做的事情既是前沿学术成果，又是尖端产业成果，所以西湖大学允许我把绝大多数时间花在这上面。当然我在学校每年还是有规定的课时要上，除此之外全部时间都在这个项目上。
做大模型的预训练不是一朝一夕的事，它是一个持续的、长久的创新努力。我们现在做的事有人形容叫“干湿结合”。干实验就是理论，学校这边的老师可以快速在理论空间和 idea 上做探索；湿实验就是实践，工程团队迅速把想法落地到规模化的尺度上去验证。两边不断闭环，去推进物理世界模型在底层上的建设。
DeepTech：最后一个问题。创业至今，有什么事情是超出或不及你预期的？
于开丞：当你在做正确的事情的时候，确实会有越来越多的人进来帮你。
1 月份启动的时候就是我和 Tong 两个人。到中间，吸引到了非常强的创业伙伴。到四五月份，我们发现有很多学者、很多“小天才们”主动找过来，他们的想法就是要一起做一个真正属于中国的物理世界模型。坦白讲，一开始我以为说服大家加入会很难，但实际上花的精力远比我想象中少。
不过我想讲一个小故事。从 2023 年孤独和无助的状态到 2024 年，世界模型开始变成一个有人愿意炒的概念。但真正让我震撼的是 2025 年特斯拉的 AI Day。
从 2022 年我刚进入自动驾驶这个行业的时候，看特斯拉 AI Day 的感受是非常明确的，基本上特斯拉出什么，我们就跟什么，这件事我也不避讳。2023 年、2024 年依然觉得他们比较领先，他们的端到端做得确实好。
但到 2025 年，他们发布了 World Simulator，这是一个用世界模型驱动的渲染器，去做长尾场景的生成。当我看到的时候，头一回，不再是那种“他们发什么我们闷头追”的感受了。整整追了三年，回头一看，原来你也在这里。我们其实早就已经做了，2025 年的时候都已经落地到了实际的工业场景中。
可能没有在一线的人不会有这种感受。但对我们来说，这是一个极其明显的信号。在大语言模型领域，坦白讲我们和美国的差距还是有一些的。但在物理世界模型这个方向上，这是一个真正的、难得的机会。
我们对这件事的态度是六个字：快起来，慢下来。快起来，就是在资源和进展上一定要快。慢下来，就是一定不要因为短期的利益去做损害模型演进的事情。我们做的是前沿科技创业，不是快速变现。要在每一个底层创新上做扎实，做稳健，才对得起这件事。
参考资料：
1.https://github.com/autonomousvision/fail2drive
2.公司主页：westlakedi.com
运营/排版：何晨龙
注：封面/首图由 AI 辅助生成
盈亚配资提示：文章来自网络，不代表本站观点。
相关文章
热点资讯
