李飞飞与 SceniX 联合创始人Yunzhu Li 一同现身 a16z 播客
距离 World Labs 宣布收购机器人仿真公司 SceniX 仅过去一周，李飞飞与SceniX 联合创始人Yunzhu Li（李昀烛）一同现身 a16z 播客，与主持人 Martin Casado 展开了一场题为《Solving the Hardest Problem in Robotics》的深度对谈。
同日，World Labs 官网正式发布 Real-to-Sim-to-Real（R2S2R）引擎的首批技术成果，将收购的战略逻辑完整铺到了行业面前。
这场对话没有停留在收购的商业层面，而是直指当前具身智能领域的几个关键判断：
1.机器人落地的最大瓶颈不在硬件，而在于数据的极度稀缺和评测体系的低估。语言模型的数据在网上几乎无限，但机器人缺乏可规模化的数据来源，这正是 scaling law 无法在机器人领域直接生效的根本原因。
2.仿真不是“可选项”，而是“必选项”，因为它提供了真实数据无法替代的反事实推理能力。仿真让机器人提前应对那些尚未发生或难以大量采集的真实场景。Waymo 依赖数十亿小时仿真数据，已证明这一路径在工业级应用中的可行性。
3.World Labs 与 SceniX 的整合，本质上是“生成式3D世界模型”与“real-to-sim-to-real 工程化”的互补。World Labs 的 Marble 基座模型擅长从稀疏输入生成几何一致的3D世界，SceniX 则专精于将真实环境高保真映射到仿真并回迁至现实，两者结合可构建模型无关、本体无关的机器人学习与评测基础设施。
4.机器人基础模型很可能走向“全模态+动作维度”的形态，既能充当仿真器（预测动作后果），也能充当策略模型（输出动作指令）。这类模型可作为通用主干，针对具体机器人任务做微调，既帮助理解环境，也帮助在环境中行动。
5.机器人落地的现实路径需要从结构化环境起步，逐步过渡到半结构化环境，最后才是非结构化环境。当前阶段应优先聚焦仓库、工业产线等可控场景，而非直接挑战家庭。人形躯体是为非结构化环境演化出的通用形态，但商业化更应走专业化路线，用专用形态解决窄任务。
以下是对谈原文：
01.
World Labs 在做什么
Martin Casado开场：飞飞，先给听众介绍一下World Labs到底是做什么的？
李飞飞： World Labs成立两年了，我们把自己定位成一个前沿模型实验室。我们正在做的，是AI的下一站，我们叫它空间智能。简单说，就是让AI不仅能看、能读，还能生成、理解、推理，并且跟空间发生交互，不管这个空间是物理世界还是虚拟世界。而打造大型世界模型，是我们通往空间智能的核心路径之一。
Martin Casado：你一直在讲感知空间、推理空间，但我总以为在空间中行动是很遥远的事。现在直接收购了一家机器人公司，这个时间点是怎么考虑的？
李飞飞： 首先得说清楚，在空间里行动不只有机器人这一种方式。影视特效、游戏开发、工业设计，这些领域大量需求是在虚拟空间里创造和操作。World Labs一直相信，我们生活的世界可以理解成一个多元宇宙，我们要做的是让大家能自由穿梭于不同空间的技术。
不过话说回来，物理世界里的行动能力，确实是未来AI最激动人心、也最具颠覆性的方向之一。机器人恰恰是这件事的终极载体。SceniX团队的加入，跟我们长期以来的愿景完全吻合。
Martin Casado：Yunzhu，该你了。介绍一下你自己的背景，还有SceniX在做什么。
李昀烛： 我是SceniX的联合创始人，同时在哥伦比亚大学当助理教授。博士在MIT读的，之后去斯坦福跟飞飞做博士后。我的目标很简单，就是帮机器人更好地感知物理世界，并在里面真正干成事。我是一个特别务实的人，我要我的机器人在真实的物理环境里能干活。
对SceniX 来说，我们看到的独特机会是，通用机器人的发展现在有很多瓶颈，尤其是训练和评测这两块。所以我们在做的是所谓的 real-to-sim-to-real 流水线。我们想把真实环境映射到数字世界里，并且要跟真实环境有最好的对齐。对齐的意思是，数字世界里发生的事情，在真实环境里也会发生。
02.
一场“意外”的收购：从付费客户到合作伙伴
Martin Casado：你俩能重新凑到一起，这事儿挺有意思的。
李飞飞： 说起来好笑。你可能以为因为我们之前合作过，他是我最出色的博士后之一，所以很早就开始谈整合了。根本不是这么回事。SceniX最开始是作为客户找上门来的。
去年冬天，大概十一二月吧，我们发布了Marble的第一个版本。SceniX直接注册成了用户。
Martin Casado：不是吧？是以客户身份？
李飞飞： 对。我当时完全没反应过来那是谁。后来一看公司名字，才认出是Yunzhu创办的。我立马给他打了个电话，说"哇，这是你的公司啊？"然后我们一聊才发现，两边要做的事情高度互补。
Martin Casado：飞飞，简单说一下Marble是什么？
李飞飞： Marble是World Labs一直在训练的基座模型。目前公开版本的核心能力是：你给它一张图、几张图或者一段文字，它能生成一个几何上保持一致性的3D世界，表现形式可以是高斯泼溅或者网格模型。
而SceniX在解决的，是机器人领域最棘手的数据缺乏问题。训练缺数据，评测也缺数据。这跟大语言模型完全两码事，语言模型的数据在网上要多少有多少。但机器人要真正拍起来，必须想办法解锁 scaling law 的力量，可那个scaling law的燃料从哪来？这是所有机器人团队都在死磕的根源性问题。
Martin Casado：聊聊协同效应吧。你们两边团队都很强，重合度多少，互补性又在哪？
李飞飞： 用一句来说就是高度互补，使命一致。SceniX有三位技术联合创始人，Yunzhu是其中之一。另外两位，一位是哥大教授，仿真领域世界级的技术大牛，同时在维塔数码干过，也在腾讯待过，自己还创过业。还有一位工程负责人特别厉害，早年创立的公司被亚马逊收购了，之后在亚马逊做过多个计算机视觉方向的技术栈。
SceniX的人才结构跟World Labs形成了极佳的补充。首先，他们在机器人方向有深厚的思想领导力和全栈工程能力，从建模到硬件都通。Yunzhu在斯坦福做我博士后的时候其实已经拿到教职了，所以我只留了他一年，他得去干"正事"了。他这个人是从建模到硬件都能搞定的全栈机器人专家。再加上他在SceniX带出来的学生团队，正好填补了World Labs之前没有的一块。
另一个联合创始人那边，有极强的仿真积累。World Labs做的很多事情天然要跟仿真世界对接。而SceniX这边缺的，是生成式模型和3D视觉重建的能力——这正好是World Labs的强项，也是他们需要的。两边一凑，整个技术版图就完整了。
Martin Casado：Yunzhu，从一个创始人视角，决定把公司并入World Labs，这个决策是怎么考虑的？
李昀烛： 最开始我们确实打算自己单干。但跟飞飞深聊之后，发现两边协同效应实在太强了，合在一起明显比各自为战更合理。
SceniX一直在做的real-to-sim-to-real，本质上是对物理环境做重建——包括外观、几何结构、动力学特性，也就是施加动作之后环境会怎么响应。目前这套重建流程还是偏重的。而World Labs在稀疏重建和生成式建模上有很深的技术储备。所以我们看到了巨大的机会，可以借助Marble以及World Labs的其他能力，把环境重建和建模的效率提升一大截。
03.
机器人基础模型预测：全模态+动作维度
Martin Casado：所以我们可以期待World Labs推出一个机器人基础模型？
李飞飞： World Labs本身就是在做基础模型。现在最让人兴奋的一类基座模型是全模态模型——多模态输入、多模态输出。那机器人领域的基础模型会长什么样？很大概率会引入"动作"这个维度，除了输出世界状态之外，还会输出动作指令。我们不排除这种可能性。
李昀烛： 比如说基础模型，它本质上需要是一个多模态模型，能吃进视频帧、文本、图像、深度图等各种信号，而动作是其中极其关键的一环。
如果把当前帧和动作一起喂给模型，它本质上就是个前向仿真器，它会预测执行某个动作后环境会发生什么变化。反过来，如果把动作当作输出，它就是个策略模型——给定某个目标，预测在真实环境中应该采取什么动作来逼近那个目标。这类全模态模型对整个机器人社区都很有价值，既帮大家理解怎么对环境建模，也帮大家搞清楚怎么在环境里行动。它还可以作为一个通用主干，针对具体的机器人任务做微调，确保达到客户期望的可靠性和效率。
Martin Casado：我见过很多机器人公司，现在流行用视频模型。你们走的是3D加仿真的路线，这条路跟主流有什么不同？
李昀烛： 要打造一个能让机器人学习的数字世界，核心在于抓住问题的本质结构。而这类世界有一个关键前提就是一致性。空间上要一致，时间上要一致，不同视角下要一致，不同类型的交互也要一致。Marble生成的世界，恰好提供了这个世界所需的基础设施。
设想一下，机器人伸手推一个物体，结果物体凭空消失了，这是很多视频预测模型常见的毛病。这种信号根本不足以让机器人学会正确的行为。当然，现在学术界也在努力把视频模型越做越强。我们看到的路径是，先用这套基础设施提供初始动力，形成一个数据飞轮，从偏仿真的模型逐步过渡到策略模型，策略在真实环境中执行、采集新数据，数据再回流过来迭代。最终模型不一定是纯物理驱动，也不一定是纯数据驱动，而是取两者之长——既能抓住问题的本质结构，又能随着数据积累持续进化。
Martin Casado：Yunzhu，飞飞一直有她的北极星，她用不同方式表述过，比如 3D。你有没有类似的哲学层面的指引？
李昀烛： 我的北极星特别简单，让机器人在真实环境里真正干成活。我就是个务实的人。
说件有意思的事，是我在斯坦福跟飞飞合作时做的。我们当时搞了一个基准测试，向公众发问卷，问他们最想让机器人替自己做什么。收上来的一千多个回答里，三分之一都跟清洁有关。大家就是讨厌干那些又脏又累的活儿。
李飞飞： 我特别欣赏SceniX的一点是，现在很多机器人公司都在忙着造模型，而Yunzhu和他的联合创始人对机器人有一种极其务实的落地思路。他们虽然都是从学术界出来的，但第一反应不是写论文，而是去跟真实的产业客户泡在一起，无论是工业实验室、仓库、电子装配线。这种打法在机器人圈子里非常难得。
04.
为什么仿真不是“可选项”而是“必选项”
Martin Casado：纯好奇，机器人这件事你得做得相当精确吧？不用完美，但得足够接近。可创意类用例完全不需要那么准，有时候偏差本身就是风格。这两者怎么调和？
李昀烛： 长期来看当然可以调和。对环境的建模本身就不需要做到完美。
Martin Casado：有没有更具体一点的表述？什么叫"不需要完美，但要足够接近"？
李昀烛： 你看，模型在各个机器人应用的发展史上一直是很重要的基石。飞机、无人机、扫地机器人，还有四足和双足机器人。它们能成功从仿真迁移到真实环境，模型都起了关键作用。
但你看那些四足、双足机器人，能在雪地里走，能在灌木丛里穿。你根本不需要一个能把每片雪花、每根树枝都模拟到极致的仿真器。你需要的是抓住问题本质结构的仿真，然后在数字环境里做大量的随机化测试。这就是我们正在做的事。SceniX和World Labs要一起搞清楚的是，建模这些庞大的世界和其中的机器人，到底需要多高的保真度，才能把仿真里训练出来的系统成功迁回真实场景？
Martin Casado：Sergey Levine他们说过，仿真最终总会偏离物理世界，真实数据采集必不可少。你们这套以仿真为主的技术路线，可行性到底在哪？
李昀烛： 这两件事其实不矛盾。仿真本质上是在预测施加动作后环境会怎么变，它本身就是一种世界模型。这个模型不一定要纯物理驱动，可以是物理规律和数据学习相结合。我们也在采真实数据，只是用在数据飞轮的不同阶段。
前期可能更侧重物理规律，来确保正确的一致性和结构。但随着积累的数据越来越多，建模会逐步转向数据驱动。这种过渡和数据流动，让我们能同时享受两边的红利，一边是物理、几何和一致性，另一边是数据和算力的全部魔力。
李飞飞： 我想补充一点，稍微拔高一点说——这不是"用不用仿真"的二选一，而是所有东西放在一起才能让机器人真正跑起来。
想想人类智能。我们大脑里时刻都在做大量"仿真"。为什么？因为仿真扮演了一个真实数据永远替代不了的角色——反事实推理。你在脑子里演练那些还没发生的、甚至根本不可能发生的事，或者你在真实世界里没那么多数据让它发生的事。通过演练，你学会了怎么应对。人类一直在这么干。
我猜你刚去看世界杯了，恭喜西班牙夺冠。我相信每支球队备战的时候都会做仿真，不管是数字化模拟还是在白板上画战术。仿真的本质就是反事实推理。这在机器人领域尤其重要，因为我们根本不可能拥有足够的真实世界数据。
现实里就有现成的例子，自动驾驶行业。Waymo官方说过，他们用了数十亿小时的仿真数据，而且他们其实更依赖仿真而不是真实路测。Martin你也知道，汽车已经是最简单的机器人了。
李昀烛： 我再补充两点具体的。仿真能带来两个核心价值：一是可靠性，二是效率。
可靠性方面，要让机器人在真实环境里稳定工作，你需要数据能系统性覆盖机器人可能遇到的所有状态空间和变化。有了仿真，你可以做系统性的随机化，例如光照、摩擦系数、几何形状、物体类型、物理参数，确保覆盖面足够广。
效率方面，现在很多人做遥操作数据采集。那些外骨骼穿戴设备，你采集数据的速度其实比人自己动手做还慢。但对很多客户来说，人的速度根本不够，他们需要比人更快。想让机器人动作更快，不是简单地把电机转速调高就完事了，重力又不会跟着变。但在仿真里，你可以对机器人的行为做系统性的加速训练，把环境的动力学变化都考虑进去。这就是仿真能给客户带来的效率优势。
05.
评测才是被低估的那一环
Martin Casado：技术和平台层面聊了不少，那具体应用场景有哪些？
李昀烛： 两个核心场景：训练和评测。先说评测，这在机器人领域经常被忽视。但你要调机器人模型，就必须知道它表现到底怎么样，那是你迭代的唯一依据。
Martin Casado：做AI的人天天都在讲eval，但圈外人听起来可能不太一样。你具体解释一下评测指什么？
李昀烛： 评测说白了就是搞清楚某个模型检查点的真实水平——成功率是95%还是99.9%。
行业里一个关键的衡量标准是：你要花多少墙钟时间，才能区分出一个90%的检查点和一个92%的检查点？如果完全在真实环境里做这件事，时间成本高得离谱。现在机器人的真实环境评测，迭代速度比大语言模型慢了不知道多少个数量级。
Martin Casado：因为物理规律得一步步走完嘛。你看那些机器人视频，全都标着8倍速、10倍速，因为实际跑起来太慢了。
李昀烛： 对。而且不光是慢，还危险、还烧钱，速度上又慢了不止一个数量级。
所以我们有些客户特别需要一个数字环境来评测他们的机器人系统。因为我们的数字环境已经验证过跟真实世界是对齐的，仿真里发生的事，真实世界里大概率也会发生。如果某个检查点在仿真里表现更好，在现实里也极有可能更好。这一点我们在博客里也讨论过。这让客户能放心地用数字环境提供的信号，去做规模化、安全、快速的系统评测。
评测之外就是训练。训练的核心在于可控性，你要能控制状态、参数、光照、摩擦、物理参数，还有物体的几何和类型等各种变化，确保覆盖足够多的场景，让机器人变得鲁棒。单靠真实环境做这件事太难了，遥操作采集数据速度慢，还受限于你有多少台机器人、多少套设备，数据运维还有一堆别的麻烦。
但在仿真里，一切尽在掌控、一切系统化，你可以确切知道自己覆盖了什么样的数据分布，并对此做出明确断言。在那个分布范围内，你知道机器人是能工作的。这种确定性、效率和可扩展性，正是客户愿意用我们的数字世界来训练机器人系统的原因。
李飞飞： 还有件挺疯狂的事。在SceniX之前，Marble的意向客户里就已经冒出这种需求了。我们当时根本没能力服务这些客户。但我们接到了大量电话——从早期做模型开发的机器人公司，到非常务实的下游应用方——需求真实存在。
06.
我们不造机器人，而是在造一个“环境”
Martin Casado：一般人听说你们要做机器人，第一反应是你们要拿3D打印机搞硬件、给机器人装个大脑、塞进壳里。我觉得这跟你们说的不是一回事。能不能讲讲你们在整个机器人制造周期里到底扮演什么角色？
李昀烛： 我们做的是一套基础设施和配套软件，让大家能够构建出让机器人学习和被评测的数字世界。这套基础设施天然是模型无关的，也是本体无关的。
Martin Casado：我想把这一点说透——虽然在你们看来理所当然，但对很多人来说这是个微妙区别：你们不是在造机器人，而是在造一个“环境”，让另一家公司把他们的机器人大脑放进来导航和学习。
李昀烛： 完全正确。我们现在的客户用的机器人各式各样——有单臂的、双臂的、固定基座的、移动底盘的，末端执行器有简单夹爪也有复杂灵巧手。我们的平台天然兼容各种形态，能轻松集成不同的机器人本体，放进我们生成的数字世界里，让它们以高可靠性和高效率在真实环境里完成任务。
我们同样也是模型无关的。我们可以直接用数字世界生成的数据来训练各种模型——从零开始训也好，对现有的视觉语言动作模型或世界动作模型做后训练也好。对我们来说模型具体长什么样不重要，我们只关心基础设施够不够硬、数字世界够不够真，让机器人能稳定可靠地在现实里工作。
07.
机器人落地的现实路径需要从结构化环境起步
Martin Casado：你之前跟我提过，你觉得现在对人形机器人的预测有点过于乐观了，更可能在仓库这类受限场景先落地。展开说说？
李昀烛： 机器人应用在现实世界的推进路径一直很清晰：从完全结构化的环境，到半结构化环境，再到非结构化环境。
完全结构化环境指你对一切配置都有完整的了解和掌控，比如工厂流水线、汽车制造车间，这些地方几十年前就已经高度自动化了。
半结构化环境是你对环境有一定控制力，比如亚马逊的仓库，或者餐厅、酒店，你可以通过调整环境来降低机器人的任务难度，但还有很多东西是你控制不了的，比如衣服的形状。
至于非结构化环境，比如你家、我家，那才是真正的终极挑战。
李飞飞： 特别是我们家，相信我。三条狗。
李昀烛： 还有一个五岁小孩。鲁棒性来自于对机器人可能遇到的各种场景有足够覆盖。所以至少现阶段，先专注于半结构化环境，再慢慢走向非结构化环境，这条路要容易得多，也靠谱得多。我们最终肯定会往那个方向走，只是想挑一条更可持续、更现实的路径。
李飞飞： 这里我理解他的意思其实是，人形机器人模仿的是人的身体，而进化把人体优化成了适应非结构化环境的形态。我们的手指和腿都不是为了做某一件事而设计的"最优工具"。举个例子，如果人类这个物种的唯一目标是爬树，我们根本不会长成现在这样。人最终演化出的这副躯体非常通用，但做任何一件事都不是最优解，这是为了在非结构化环境里活下来。
但从商业和务实技术的角度来看，非结构化环境加上通用形态，恰恰是最难啃的骨头。甚至可能根本不是解题的正确姿势。更合理的做法是专业化——用更专用的形态去解一个更窄的问题。SceniX面临的挑战在于，它的基础设施必须保持形态无关，才能服务不同的躯体和不同的半结构化场景。
Martin Casado：我们的大脑和身体在三维导航、移动和抓取方面效率极高。你觉得在可预见的未来，我们能造出在琐碎任务上达到人类能效的机器人吗？比方说按最低工资标准算，离这个目标还有多远？五年？还是永远不可能？
李昀烛： 我觉得还要很久。真实环境里每一台能干的机器人都是一个系统工程在运转，你必须非常仔细地考虑各个模块怎么配合——硬件、软件、算法大脑，甚至细到手指的摩擦系数。要让这些东西真正成为现实，要考虑的因素太多了，而且需要反复迭代。
但让我兴奋的是，我一直泡在机器人学习的最前沿，也一直在推动边界。这个领域进化的速度总是比我想象的快。我现在研究的东西跟我刚读博时完全不一样，说明整个生态演进的速度非常惊人。但我们也得对自己的预测保持清醒。我们会看到很多进步，但要达到人类级别的效率和能力，还有很长的路要走。
李飞飞： Martin，今天AI领域最难的事，就是保持恰到好处的、有分寸的乐观。
Martin Casado：说得太对了。
李飞飞： 连大语言模型都达不到人脑的能效，人脑只需要30瓦。所以我们离那个目标还差得远。
Martin Casado：但在性能和功耗的比值上，某些窄任务可能已经接近了，比如写代码或者生成图片。
李飞飞： 对，那些领域我觉得是。但换到机器人，还差得远。
07.
之后的合作怎么走？
Martin Casado：这次并购改变了你们战略上的野心吗？还是说跟创业时预期的基本一致？
李昀烛： 确实以很深刻的方式改变了轨迹。我们看到很多新的可能性，能把整个环境建模这件事做得高效得多、可规模化得多。
我还想补充一句。语言模型能力再强，你也不会闭着眼睛让它帮你订机票订酒店——你希望有人复核它的输出。但机器人模型的使用逻辑完全不同——它必须开箱即用，在真实环境里稳定可靠。而我们连数据都没有，连必要的基础设施都还没建好。正因为这样，能打造一个可规模化的数字世界、让机器人在里面学习和被评测，会释放出巨大的潜能。
Martin Casado：我看过很多并购整合，在双方理念高度一致的情况下通常运转得很好。但总有个问题是你们是现在就全面融合，还是保持一定距离，给一个更长期的规划？飞飞，你怎么看？
李飞飞： 我们现在的策略是审慎推进。不急着把代码库和团队全部搅到一起。因为SceniX有一套想得很清楚、相对独立的技术栈，还有自己的客户和产品线。我们会花时间慢慢来。
整合是肯定的，仿真侧，还有基座模型和动作条件模型那边，我们已经开始深度交流了。他们本来就在用Marble。但我们会慢慢融合，不会一上来就把团队搅成一锅沙拉。
Martin Casado：地理上怎么安排？
李飞飞： Yunzhu会搬到旧金山。World Labs现在正式成为横跨东西海岸的公司了，总部在旧金山。我住在帕洛阿托，感觉自己像在另一个州。不过很高兴我们会在纽约设个办公室，这对吸引东海岸的人才很有帮助。我们还讨论过，要确保两边办公室都摆上机器人，这样能把工程栈跑通，能远程操作和调试——服务客户必须具备这个能力。
Martin Casado：说具体点，两年后最理想的成功状态是什么样的？有什么产品？谁在用？怎么用？
李飞飞： 我们会很高兴看到SceniX和World Labs一起，在几个重要的垂直领域里拿到经过验证的标杆客户，我们的系统和基础设施被证明能真正解决他们的自动化需求。这些客户成了我们的灯塔案例，帮我们把生意规模化。
Martin Casado：如果有人现在在经营一家机器人公司，应该在什么阶段来找World Labs？早期？还是中间某个节点？
李昀烛： 我们的平台设计本身就很灵活，取决于客户需要什么。有些客户只需要real-to-sim那部分——把他们关心的任务数字化，在里面做评测。有些客户需要整条real-to-sim-to-real流水线，把策略部署到自己的硬件上。
现在合作的客户大多已经接近部署阶段了，在做非常实际的任务——机器人一旦顶上就能立刻产生价值，而且他们手里至少有几十上百个这样的场景在考虑自动化。我们在博客里展示了一些已经落地的场景，接下来会继续研究怎么满足真实部署中的关键需求。
Martin Casado：对一家机器人公司来说，联系World Labs会不会太早或太晚？
李飞飞： 不会。欢迎大家来找我们，我们想了解你们的用例。
Martin Casado：如果你在听这期节目，而且你正在做机器人项目或者经营机器人公司，请关注World Labs。
李飞飞： 是的，谢谢。
