圆桌导读:
2026 年世界机器人大会的一场技术圆桌上,6 位从业者把具身智能当下最核心的几道难题摆到了桌面上。北京通用人工智能研究院具身机器人中心主任黄思远关注双足人形机器人的全身协同操作;星海图首席科学家赵行聚焦具身基础模型的训练范式;清华大学深圳国际研究生院助理教授于超推动强化学习框架 RLinf 与 Agentic Robotics 的融合;元流智能创始人兼 CEO 祝毅晨推进 local manipulation 的端到端数据循环;北京大学人工智能研究院助理教授李昊轩探索因果推断与具身的接口;Dyna Robotics 联合创始人杨世远则验证百万小时人类视频的 scaling 潜力。
整场讨论沿着三条线推进。第一条是模型层,VLA 是不是当下最合理的技术路线,世界模型到底是真问题还是 buzzword。第二条是数据层,100 万小时人类视频能不能换来机器人的 scaling law,多模态与因果信号如何被更高效地用起来。第三条是落地层,真机强化学习距离规模化还差多远,RSI 的闭环能不能成立,以及下一阶段最需要被突破的事情究竟是什么。
贯穿三层的共识是,规模化的前提是数据,规模化的天花板同样是数据。但规模化的路径并不只有一条。

正文:
主持人陈茜:现在是一个非常让人兴奋的时刻,在硅谷,科技巨头们紧锣密鼓地筹备机器人团队,很多明星初创企业也密集发模型、做各种新的 release。这次回国来参加世界机器人大会也觉得很兴奋,大家可以看到场外的机器人已经可以做各种各样有意思、能马上落地的应用。但兴奋之余,我觉得行业也应该冷静下来,机器人还处在刚刚开始的位置。我们今天主题想聊的是,从技术视角看,突破有哪些?同时行业面临的困难和挑战在哪里?
先跟大家打个招呼,顺便用非常简短的一两句话介绍一下,你们今年最关注的工作是什么?
A|黄思远:大家好!我叫黄思远,现在是北京通用人工智能研究院具身机器人中心的研究员,也是德塔智能的联合创始人。我们比较关注的是双足人形机器人的基础模型,想用这个基础模型去解决 local manipulation(局部操作)和机器人全身协同操作的问题。
C|赵行:大家好!我今年主要关注的问题仍然是具身基础模型。今年的技术进展其实是蛮多的,大家知道现在最火的是 World Action Model,它让我们的具身基础模型可以从视频里进行训练。我觉得最让人觉得有意思的地方,仍然是我们很多的泛化性能从人类视频里学到,但大家仍然没研究清楚的一点是,我们从人类视频里学到的泛化性,到底是视觉泛化性、动作泛化性,还是语义泛化性?或者我只是把视觉、语义、动作等多种模态对齐了?我觉得这些都挺值得继续深入探索的。
C|于超:
各位观众、各位老师好!我是于超,来自清华大学深圳国际研究生院。我自己的研究方向主要是强化学习驱动的具身智能,关注算法和系统的协同设计。最近一年我们团队一直在做一个面向具身智能的大规模强化学习框架,叫 RLinf,在社区也得到了一些认可。最近两三个月,我们开始更关注 Agentic Robotics,就是把像 Code Agent 和具身智能做一些结合,同时也在做算法和基础设施的工作。
C|祝毅晨:
大家好!我叫祝毅晨,我是Current Robotics的CEO。我们公司主要面向做 Local manipulation 算法。我们最关心的,是从整个 local manipulation 如何构建数据、到基础模型、到最后的世界仿真器这一块,能够把它整个做成一个循环。包括最近特别火的 RSI(Recursive Self-Improvement),我觉得未来有了完整的 infra,就可以把这件事推到 Physical RSI 的一个新高度。
C|李昊轩:
各位观众、各位专家好!我是李昊轩,现在在北大的人工智能研究院做助理教授研究员。我主要是做因果推断和人工智能这个方向,最近也在关注因果和具身结合,做了一些工作。我们关心的事情主要是从相关性到因果性的范式跃迁。比如我们会关心。一个动作出现在一个状态之前,到底是这个动作导致了这个状态,还是它们刚好相关在一起?我们希望能够找到真正起因果影响的变量,并把它用在 World Action Model 上面。
C|杨世远:
大家好!我是 Dyna Robotics 的联合创始人。我们公司今年最主要做的一块是最近刚刚发布的大规模预训练,用人类视频做预训练。我们主要的动机是,人工数据是最可扩展的数据。整个行业都想复刻大模型的成功,第一要解决的就是,怎么找到和大模型类似的数据源,能够持续产生数据,并且我们能把它利用好。但同时,我们也关注怎么把这些基础的模型工作真正用到真实的落地场景里。现在很多工作聚焦在科研领域,或者做一些简单的 demo。我们现在已经在把世界模型、包括过去的 VLA,都尝试做真实的落地,这是我们今年主要在做的工作。
主持人:从大家刚才的介绍里,我也听到非常核心的一些关键词,比如 RLinf、RSI、因果关系、模型……这些都是非常重要的议题,待会儿我们会通过一系列问题慢慢展开。
第一个问题,我问一个关于模型的问题。先问一下赵行,星海图不久前发了 G0.5,我看到你们在模型上做了一系列创新,包括统一的异构动作编解码器、原生动作四维链引擎的时空注意力模块。你们的模型在不少评测场景上取得了不错的成绩。
Q1:为什么你们选了这三个方向进行升级?以及你觉得 VLA 的下一步是什么?
A|赵行:首先,我觉得 VLA 不一定是最正确的方向,但我们觉得目前看来是一个非常合理的技术路线。主要的原因是,过去有很多人会讨论语言的重要性——机器人模型到底需不需要用一个很强的语言模型来做初始化?我个人认为机器人模型是非常需要语言知识的。
我经常给大家举个例子,为什么我们不找猴子、猩猩来帮我们工厂干活?因为这些动物没办法充分理解人类的意图。如果我要教一只猩猩去做作业任务,我大概率只能通过模仿学习去教它,而模仿学习又是一种非常低效的知识传达方式。
我们在场做研究的都知道,后训练里面很有讲究,光用模仿学习、示教学习,学的效率很慢。最好是通过在真实世界里 roll-out 一些真实动作,跟环境交互以后把数据收回来,这样的数据价值更大。
如果我们只有视觉和动作两个模态,大概率就只能走"真机强化学习"这一条路。但预训练阶段我们没法做真机强化学习,那该怎么办?引入语言其实是一个很合理的方式,让我们真正对齐到作业任务的意图是什么、怎么去完成它、哪些是风险、哪些是该做的事。这些知识全都可以 encode 在语言里。
所以我们做了原生的视觉语言动作模型。我们叫"原生"的意思是,把视觉、语言、动作的主要参数全部放在 VLM 的 backbone、也就是 Language model 的 backbone 里,而没有 Action expert。过去大多数 VLA 都带 Action expert,我们是不带的。这样的好处是,所有模态都在一套参数里,能够充分地相互交互和相互理解,并且我们有一个非常好的预训练语言 backbone。
我们做的事情是把动作离散化以后,放到语言模型里去。在这个过程里,离散化的动作 token 对语言模型来说基本上是一门外语,它就像世界上又出现了第 201 种新的语言,但这个语言跟过去其他国家的语言都有很紧密的关联。
其实 VLA 模型非常像这么一回事。动作其实是视觉观测和语言最后的一种翻译,翻译到了物理世界、和物理世界交互的动作。这也就是我们设计 VLA 模型,统一参数、全离散化、自回归,的动机。我觉得这是一个很重要的技术路线,不能说它最后是终局,但非常重要。所以我们进行了探索,并投入非常多资源。
主持人:除了 VLA,今年在模型上还有一个关键词是世界模型。我也听到业界很多批评的声音说,世界模型是一个 buzzword。
Q2:世界模型到底是不是 buzzword?如果不是,它确确实实在哪些方面帮助机器人训练?如果是,为什么现在这么多公司在部署世界模型?
A|黄思远:我觉得一半一半吧。有一些人会比较反感叫 buzzword,是因为在一些宣传层面可能过多放大了模型架构或里面一些细节设计对于输出结果的体现。但从设计的逻辑和原理来讲,我认为世界模型本质上还是给 VLA 做了一个状态预测的提升,这个很关键。
因为即使要完成一些更闭环、更长程的动作,可能需要预测未来会发生什么情况,包括视觉的和语言的情况,能够有更细致的预测。所以未来世界模型相当于给这样一个预测提供一个 basis support,能够同时做状态预测以及动作生成。这是一个优势。
我们实际使用中也发现它能够更有效利用数据里面的一些视频和 multimodal 的分布,使得模型不仅能通过 agent code 测一系列动作,而且能让动作更加闭环、能完成更长程任务、能更有效利用大批量视频数据。
现在大家讲 scaling 想做 10 万个小时,像 DYNA 是 100 万个小时。我们如何高效利用这些视频数据、如何高效预测周围环境,是很关键的。这方面世界模型相对于 VLA 是有优势的,只不过 buzzword 的部分还是一些过度解读,本质还是关于我们怎么构建更好的数据来训练这两种模型。
A|于超:之所以今天不同人对世界模型的理解不一样,是因为之前大家从事的行业和研究背景不一样。不同行业、不同人看待这个词的视角是不一样的。我之前是做强化学习的,所以从强化学习这个角度出发,世界模型在我们训练流图或者数据流图里,本身就代表了不同的作用和不同的角色。
在我们概念里,世界模型有两个用法。
第一种用法,强化学习本质是要跟环境做交互,今天环境要么是仿真的,要么是真机的。仿真 gap 很大,真机成本很高。所以有个很自然的想法。能不能把真实世界做成一个世界模型?
这个层面上,世界模型的作用一方面是提供非常逼真、非常好的 observation,另一方面也要提供非常好的动力学模拟或物理参数模拟,让大家能模拟世界的物理规律。所以很多人会希望世界模型能做到更逼真的图像渲染、非常一丝不差地把整个世界模拟下来。致力于这个方向的人大部分是原来做 CV 出身的,本来对"怎么把一张图做得更真"有一些更深的理解和更好的技术。
第二种用法,今天还有一派人从强化学习或者从 robot 角度去理解,会希望世界模型能作为一个表征。如果有这样一个表征,我可以把 unit data、human data、甚至是异构数据同时灌到世界模型里,这时候它不再需要逼真图像的渲染,它其实只需要做到一个 unified embedding。这时候我们可以利用世界上所有的数据,同时它的作用是 world model as predictor。有了这样一个 predictor 或一个好的表征之后,就可以用少量数据做 grounding,从而输出更好的 action。
所以今天大家在平时看报告或听讨论的时候,无外乎在这两条路上狂奔,不同人有不同的技术信仰。本质上大家希望世界模型的功能和作用是不一样的,从而导致平时看起来信息非常冗杂。
稍微梳理一下,原因就是大家的技术信仰不同、或者希望世界模型做出来的作用是不一样的。我目前的认知是这样。
A|祝毅晨:
我非常赞同于老师的观点,World model 之所以大家觉得是 buzzword,是因为它可以很大、可以非常通用,也可以做得很小、做到不同的 application 里。
对于机器人 world model,现在主要是分两部分。一块是大家在做、包括赵行老师做得非常好的 WAM;另外一个方面是于超老师讲的 simulator。Simulator 也是为了跟传统的 world model 做区分。
对于 simulator 最关键的部分,除了 data scaling、做模型 scaling,还有一部分要做的是 evaluation scaling。我相信未来可能会有专门给具身做 evaluation 的公司,我们需要非常大规 benchmark 来高效、公平地评测不同模型、不同模型的迭代,看它是不是真的达到了更好的能力。
Simulator 会有非常大的优势,第一是它需要具备两个点。一是 controllability,需要对机器人的动作有很好的控制;二是 interactivity。从这两个角度出发,把它作为一个 predictor 去看模型的策略是不是可行,然后作为一个 post-training 在里面做 take over,这些类型的 application 我觉得已经在之前的领域里实实在在地落地了,并且正在与我们每天迭代模型的循环中产生价值。
Q3(追问杨世远):现在在硅谷,你们是怎么看世界模型的?
A|杨世远:在硅谷,世界模型也是一个非常新的趋势,大部分公司都在做。但就像前面老师提到的一样,"世界模型"这个词的定义已经非常扩散了,比如 WAM 更多做表征、然后做 simulator;有一些做 3D,跳出了视频 2D 的形态去做世界模型。其实我觉得世界模型的作用在不同行业、不同领域确实是不一样的。我们自己目前更多是在表征这一层比较多一些。硅谷这边其实做各种路线的都有,包括苹果也有在做不一样的路线。
主持人:接下来我想聚焦在数据上面,因为这也是非常核心的行业问题。
Q4:York(杨世远),你们 8 月初刚刚发布了 DYNA-2。按照披露,DYNA-2 使用超过 100 万小时 egocentric 第一视角人类视频进行预训练,再用少量本地数据适配具体机器人。DYNA 想试图证明:机器人不必完全依赖昂贵的遥操作数据,也能先从人类行为中学习大量物理经验。这是否说明机器人的 scaling law 已经来了?
A|杨世远:我们是觉得,至少我们看到了 scaling law 可能发生的可能性。过去我们做真机数据训练的时候,最大的问题是真机数据量非常有限。不管是从成本上,还是从第三方数据公司每月能交付的真机数据速度上,都非常缓慢。
我们去年(2025 年)一整年,花了将近一年时间尝试用真机数据做 scaling law,但最终效果不太好。主要是在一些垂类应用上可以做到很高的准确率或成功率,但在泛化性上有很大问题,当机器人场景发生变化,或操作的物体本身发生比较大的变化时,机器人理解这些变化的能力就很弱。
所以从去年开始我们就转向利用更广泛的数据。我们也更明确知道了,规模化这件事,并不是说有钱或有心想做就一定能做起来,有一些数据的产生注定就是非常缓慢的。所以要让规模化真正发生,我们必须找到一个自然而然、比较容易生产的数据形态。
中间我们也看到过一些其他的形态,也进行过尝试。但它们最终更偏向于中间的模态,去采集数据时还是需要一些设备,而设备本身对 scaling 非常麻烦。不管你是新增加设备,还是训练人去理解和使用设备。所以我们最终选择更多的是人类视频,因为人类视频不需要特别去做操作采集。
DYNA-2 核心目标就是想验证所谓的"人类数据,到底能不能转化到机器人上"。之前大家不相信人类数据,主要原因是觉得机器人当前的模态差异太大了,机器人各种各样都有,这个 gap 是一件非常困难的事。我们希望通过大规模的数据量、以及尽量让机器人能更契合人类的形态(至少从视觉上看更像一个人类状态),去建立数据和机器人之间的关联。
长期来看,我们是认为机器人会进入到非常普及的阶段,所以在这个前提下我们才做了 DYNA-2 的尝试。
当然在数据加多的过程中,我们也挺惊讶的,我们看到了一些当时没意料到的事情。
当我们把所有的人类视频数据加到模型里做训练,虽然人类视频数据在增加,机器人在测试集上的准确度反而是往下降的。这是一个非常震惊的点,说明人类视频的信息真的转到最终非常精确的下游精度上是有难度的。我们也做了一些实验,用 100 小时训练拿出来的模型,在一些任务上已经做得非常好。当然还有一些问题我们在看,下一步我们会更多聚焦在:继续做更多的试验,去理解数据 scaling law 到底是什么样的比例、以什么样的速度对下游具体量化的帮助到底有多大,这是我们下一步会做的事情。
主持人:数据问题不同企业其实完全压住了三种不同的数据路线,比如我们看到 Core Robotics(李昊轩),你们的 CoreZero 把全身外骨骼数据采集系统作为你们的路线;我看你们的公开数据里有 21000 小时的人类数据,其中 28000 小时是 whole-body registration(全身动作捕捉)。
Q5(问李昊轩):为什么你们采取这样的数据路线?
A|李昊轩:我觉得就像刚才 York 提到的,不管是 ego-centric data 还是 UMI data,本质上都是 human-centric data,只是实现方式不同。可以是一些较轻量化的方式,比如戴一个摄像头;也可以是中间态戴手套、包括 UMI 的夹爪。我们做全身外骨骼的核心原因,是要获得更加完整、更加自然的全身数据采集,它需要保证两个点。
1. Data diversity。视觉层面要有足够的 diversity,需要在 reward 里面进行大规模采集。
2. Action diversity。action 要足够准确,避免很多资源浪费在标注和 GPU 的训练上。
所以我们做这一套外骨骼方案,也是为了在 local manipulation + 灵巧手这个非常困难的赛道,能够先一步采集到"规模化、高精准、视觉多样性"兼备的数据;在保持轻便的同时,能够低成本采集,把 teleoperation 这条路线抛掉来打造自己的模型能力。
主持人:赵总,星海图你们的数据路线是什么样的考量?
A|赵行:我们星海图整机 + 智能都会去做。我们的判断是这样的,大语言模型的数据量是有限的,但是具身数据量是无限的。虽然现在很少,但往未来看,整个产业以及政府都在推动数据采集,所以未来不管是真机还是穿戴设备的数据都会慢慢上来。我们没有特别担心机器人的数据以后采集不到,这是一个基本的思路。
主持人:也想听一下其他三位嘉宾,你们对数据方面自己的一些思考。
A|黄思远:
从第一性原理来说,机器人得尽可能最大程度利用好人类的数据。刚才 York 也说到,要尽量减少 environment guard,一旦有 environment guard,在数据处理、retargeting 这个过程中就会损失掉很多信息,同时会让最通用的数据模态在很多场景下很难让机器人学到,inventory 就会导致长尾分布的缺失。
所以我们认为做数据应该尽可能保留人类可以学习的数据。我们的方案是通过 ego 第一视角 + 全身捕捉的方式,使得人在操作的时候,不仅能看到五指操作的动作,同时能看到全身、包括下肢的操作,这个很关键。我们现在看到的 egocentric 的 data recipe,其实是 miss 掉了人类的下半身、或者全身协作的很大一块 data registration。
所以我们想先把这部分通过更好的数据管线和数采方案补足起来,然后去评测以及分析,能多大程度把 environment guard 减少,并且让机器人能 maximize 人类数据的利用效率。这是我们的一个思路。
A|于超:前面的老师们更多讲的是预训练的数据,我自己由于研究方向的区别,会更关注后训练所需要的数据。跟预训练的数据其实不太一样。预训练大家希望覆盖更多多样性,能找到非常 scaling 的路径让预训练模型吃到更多数据。
对于后训练来说,其实关注的是模型"不会"的数据到底是什么。举一个更容易理解的例子:
预训练是把一条能力边界塑造出来;后训练的目标是把这条边界向外扩展。
向外扩展有两件事要做:
1. 找到预训练所塑造的边界到底在哪里,这是我的验证期,先找它"哪里不会";
2. 再往外扩,怎么把它不会的地方补上。
这两件事本质上都是在找"你不会的数据",更多是一些长尾分布。
再一个,机器人部署后还是需要持续的后训练,这部分数据更加难获得:需要剔除掉很多冗余信息、需要找更多独特的数据,才能够让模型在更长期里做到 100% 的成功率。
所以如果对学术界讲,更多是在看两年后、三年后我们的研究方向和课题是什么;对工业界来说,大家今天确实应该狠狠地讲数据,把预训练的多样化数据做上来。
A|李昊轩:不论是预训练还是后训练,因为我是做因果人工智能的学者,我想讲:数据中虽然我们强调预训练要做得更好、diversity 更高,但仔细去看,无论怎么做数采,还是会存在一些虚假相关性。
举个例子,现在具身看到的一些实际算法和产品,在测试过程中会容易受桌面纹理、颜色变化的影响,尤其是抓取这个任务。我觉得第一是数据采得不够,但第二,数据不能单讲,我们其实也没办法采集一个遍历所有可能的环境的数据,而且不只要遍历,还要做到足够的均匀,这样理论上才是最好的,但这样的数据其实很难在实际中获得。
这也是为什么当算法适配海量预训练数据时,包括刚才 York 总讲的也好,现在数据获取速度和高质数据的获取难度都非常大。
我做因果,因果是非常重要的,它拿过图灵奖和诺贝尔奖,2021 年诺贝尔经济学奖都给了做因果的学者。因果学最主要是第一相关性,这也是目前具身和 World Action Model 的一个瓶颈,我们理解的状态之间的转移,到底是它们经常一起出现,还是真的有一个 action 可以导致从一个状态转移到另一个状态?
我再举一个非常简单的例子:
小朋友随着年龄增加,他穿的鞋子大小会增加,数学知识也会增加。那如果只看后面这两个变量,我们都会发现鞋越大、数学知识越强,这只是相关性。所以现在的数采不能只是被动地做。如何从相关性做到因果?我们需要做主动的干预。这也是为什么需要这么多跟物理世界交互的数据,才能打破预训练数据的局限性。
主持人:还有一个问题想问于教授,你是做强化学习的,强化学习今年在机器人这一块讨论得也挺热烈。
Q6:今年机器人在真机强化学习 RL 上进展到哪一步了?距离 scale up 还有多远?现在面临的主要挑战是什么?
A|于超:这是一个好问题。我们团队从今年 2026 年过年之后一直没发新的工作,主要是我们自己内部也发现有一些瓶颈。业内大多数现在都是在单个机器人上做真机强化学习。这个瓶颈有两件事今天还不太能 scaling。
1. 机器人数量 / 多机稳定性,今天即便是中国这个制造业大国,所有的事物发展都需要时间,要等它慢慢成熟。今天机器人真正投产的稳定性还不足的情况下,发展多机本身就是一个瓶颈。
2. 今天的预训练大量依赖人工,比如预训练依赖人工是找一个用人类的数据,头上戴个摄像头把人手的视频录下来,这件事情本质上需要把一个人相对轻度地 involve 进来。而后训练这件事,由于我们已经跟本体绑定了,后训练机器人所需要的经验,其实来自人不断去修正它。
这时候我们会发现,同一个任务找到高质量数采源,我们最多找到 3 个,找到 8 个的时候就已经很难了。我们画过一条成功率从 50–100 的分布曲线,发现我们的任务、我们的训练其实有太多的不确定性。
所以我觉得今天的真机强化学习训练,第一个是大家大多局限在单机上;如果是多机,大家也都局限在离线。而我们真正的目标,对于强化学习来说应该是在线的、大规模的规模化,或者说我们在探索如何实现规模化的后训练。今天在场的老师更多是在看如何实现规模化的预训练,但后训练这件事其实是在看这个点。而这个点我目前看下来,国际和国内其实都还是空白,因为有太多的依赖项还不太成立。
主持人:下一个问题问的是 RSI。
RSI 在大语言模型 LLM 里面今年是太重要的关键词了。机器人行业也有自己的 RSI,AI 进化的闭环,把人的关系剔除掉,让它形成一个 AI 自己强化 AI 的闭环。
Q7:在机器人行业,有没有 RSI 闭环已经形成?比如:部署产生真机数据 → reward model 自动筛数据 → RL / post-training → world model 合成和评估 → 下一代部署。有没有这样的 RSI 闭环可以形成呢?
A|于超:
我对 RSI 首先要 def 一下"self"。如果你说单机,我认为这件事不成立,单机的并行度太小了,不太成立。所以这里说"self"其实是在说一个 robotics 行业或者多机。我有时候感觉"self"这个词在机器人行业可能有不同的解读,但如果让我来定义,我可能不太会用这个词来去说,但我觉得如果只说"大行业内的数据自进化",其实还是存在的。
A|黄思远:
RSI for Robotics 其实是一个很有趣的问题,它一定程度上也结合了现在我们讲的一些 agentic pipeline。
这里面从真实机器人的学习过程来看,会有几个:
1. Verify 的问题,RSI 比较依赖于 verify,即最后怎么验证任务成功与否。在限定环境下比较简单,但通用机器人通常处理的是一些比较开放的环境。在开放环境下,verify 怎么去设计,以及它的鲁棒程度,是一个很大的问题。如果不靠谱,模型可能会做很严重的 reward hacking 或者 model collapse,那这个模型就 trim 坏了。
2. Sim 2 Real 的问题,刚才议程聊到可以用仿真去做一些 recursive 或者 model 的工作,但这涉及到机器人原来还有不少的 sim 2 real gap。但在仿真里叠加速度会更快一些,最终我们还得处理更大的 sim 2 real gap,以及仿真下它的 scalable 的问题。
所以我觉得在限定环境下,RSI for Robotics 还挺有趣,我们也看到了一些不错的成果。但我更关注的,可能还是在开放世界怎么去解决刚才说到的 scalable,包括李老师也讲到怎么 scalable 多机处理,以及怎么样把 verify 更好地结合环境反馈,变成机器人的 grading,让它能够学习。
A|祝毅晨:
我觉得 RSI 首先得要先 defend,可以分成两个部分。
1. Auto research 部分,大家希望能够把以前用在 AI Tree AI 的理念搬到机器人上面,这就是刚才提到 verify 的部分,需要有一个比较稳定高效的评测器,能够让它整个在线上、在尽量减少 sim 2 real gap 的情况下去完成整个闭环。
2. Skill generation 部分,如何把 verify 变成一个 generator,对于一些类似 Cursor-Eyes in Claude Code 的场景,当机器人在 physical 里遇到一些没见过的场景时,如何用这样一个 generator 实时去生成一些新的数据。比如前两年刚刚发布的 G1.5,实时的、马上甚至没迭代就可以做一些新的技能立刻完成,我觉得这也是 RSI 另外一个很重要的事情。
主持人:今天由于时间关系,最后一个话题,大家用一句话来总结一下机器人行业的"法则"(truth):
Q8:你们觉得下一个最关键、最急切需要解决的问题是什么?
A|杨世远:
我们思考怎么样去可以很快速地交替起来。刚才大家也提到最近 1.5 其实已经看到了一些进展,我们内部其实在大规模用户数据上也看到了,大规模数据能带来很好的 in-context learning 的一些体验。我们认为机器人真正的 ChatGPT 时刻,是它可以在不断和人类交互中持续学习、持续进步的状态下才能实现。所以我们未来会做很多这方面的工作。
A|李昊轩:
我们希望能够实现机器人基于反事实和反思的类人思考。我们觉得现在单靠采集数据去做 scaling,一个关键的瓶颈是,我不理解,比如一个机器人动作失败了,到底是因为第三步抓取点不对,还是第七步行进方向不对?我们还是支持时间上回溯,能够回答一个基本科学问题。
"做了一个动作轨迹之后,我看到了一个结果。那么我想回答的问题是:如果当时我做的是另一个动作轨迹,那么我的这个结果会怎么样?"
其实我觉得这个也能跟刚才各位专家讨论的数据问题相结合,我们除了需要真机数据,也需要反事实数据。人类是会去反思、思考的,我们希望能够增强机器人反事实动作轨迹生成和反思的决策能力。
A|祝毅晨:
我觉得抛开技术细节不谈,需要找到一个像 coding 一样特别好的场景,有特别高的价值、自身是 verifiable 的、也有 human in the loop,天然会提供一个 reward。我觉得具身会非常困难,但如果能找到很高价值的场景去深挖下去,整个飞轮迭代会非常快。
C|主持人:
物流是吗?
A|祝毅晨:
Maybe.
A|于超:
我自己感觉具身智能下一个突破点应该在基础设施部分。今天有众多的从业者,每一家公司其实都在构建自己的 infra;但对学术界来说,资源相对比较短缺,大家其实需要很好的 infra。如果能把 infra 做开源,让学术界更多研究人员一起来贡献力量,这可能对整个具身智能行业都是一个利好的消息。
A|赵行:
我说说模型架构。我非常希望能出现真正的原生多模态模型。现在主要还是依赖于语言模型和视频生成模型的基础架构。我非常期待因为具身的需求出现,能真正拉动原生多模态模型的进步,我非常希望有这样的进展。
A|黄思远:
我更感兴趣的还是数据。怎么样把尽可能多的人类数据,无时无刻不在发生的全身的肢体、五指的操作、我们眼睛看到的东西,尽可能多地采集。现在数据采集还是比较局限,在我看来只利用了人类数据的很小一部分。怎么样找到一个好的方法和 verify 的流程,能够尽可能 maximize 对人类数据的采集和使用效率,这是我未来最关注的一个问题。
