机器人要先预测下一秒，才能把活干完？

把机器人从演示视频里拉出来，难的往往不是再做一个更炫的动作，而是让同一套系统在顾客的后厨里连续干活。Latent Space 在 Dyna Robotics 现场访问联合创始人、首席科学家 Jason Ma。他介绍的 Dyna-2 是一个世界动作模型：既预测接下来的画面，也输出机器人可以执行的动作。节目页面还提到，他在今年 AI Engineer 的演讲里讲过餐巾折叠连续 24 小时、成功率 99.4%，包括把整叠餐巾拉翻后自己恢复。这次访谈没有把该数字当作独立测试报告展开，重点放在模型、硬件和已经铺开的客户现场。

原始来源：Robots That Predict the Future: Dyna-2 & Physical AI — Jason Ma, Dyna Robotics。中文深度整理，非逐字翻译。本文依据 Latent Space 发布的完整节目文字稿，不是 YouTube 字幕；性能与客户描述均来自受访者或节目页面。

预测画面，是为了把手伸对

Jason 把世界动作模型定义成两件事叠在一起。世界模型负责预测未来画面，也就是物理世界接下来会变成什么样；动作部分则利用这个预测，生成机器人关节真正要执行的指令。他认为人在动手之前，脑子里已经在估计“我这样一做，世界会怎么变”。把这层估计放进模型，是为了让动作更稳，也更能碰到没见过的环境。

输入不只是摄像头里的过去几秒。机器人自己的关节角度也要进去，因为纯视频模型不知道手臂此刻弯到哪。语言指令同样是输入，否则机器人不知道这一次该叠衣服还是从冰箱拿饮料。输出的最低要求是硬件能执行的动作；世界动作模型还会同时生成未来视频。节目里说，底层是扩散 Transformer（一种从噪声里逐步生成精细结果的模型），结构是只有编码器的 Transformer。图像生成要锐利的边缘，机器人动作要平滑、精确，所以这个领域普遍用扩散，而不是只做“下一个词”那种预测。

流匹配（flow matching）被讲成扩散的一种更省事的变体。普通扩散要调节噪声怎样一步步变成结果，流匹配把这条路径简化，效果接近，调参更少。主持人补充，图像往往是一次性出图，机器人却可以在动作过程中不断重新估计，所以更快的采样更合适。Jason 同意这一点。

一百万小时人类视频，只够当起点

Dyna-2 的预训练用了超过一百万小时的数据，其中大量是人的第一视角视频。Jason 的框架是：先有一个够宽的基础模型，再为具体任务做很少的微调。人会很多日常动作，但第一天去酒店铺床仍然要单独练。机器人也一样。节目里举的例子包括：切菜大约 45 分钟的示教，开冰箱等任务是几十分钟到几个小时。示教就是人操作机器人把任务做一遍，再拿这些数据训练。

他同时说，一百万小时只是这条路上的第一个模型，还不够。语言有互联网，机器人没有对等的现成语料。公司自己在办公室采集，也公开了数据合作邮箱，欢迎第一视角、机器人操作或其他可能有用的数据。数据质量还会变：模型什么都不会时，粗数据也有用；要做到能上岗，又需要针对特定任务的数据。人类视频负责更上层的行为，机器人自己的数据负责低层的反射和灵巧，两边要进同一个模型。

合成环境被他看成下一条扩展轴。他读博时做过 Eureka：当时用 GPT-4 写仿真环境和强化学习的奖励函数，演示过转笔，但模型还没有足够的视觉和三维理解，主要靠生成代码和文字反馈。他认为现在的前沿模型已经能做从真实到仿真、计算机辅助设计和三维重建，值得认真投入。Dyna 也在用自己的世界动作模型生成视频，当作下一轮训练数据。这些是他的判断，节目没有给出合成数据相对于真实数据的对照实验。

动作必须在机器上算完

和聊天机器人不同，机器人不能拿着刀停三秒再决定下一刀。动态任务里，重力不会等网络返回。所以最终部署的模型要能在设备本地、以很低的延迟运行。训练时的大模型可以更大，再蒸馏成能放进机器人的尺寸。蒸馏是让小模型模仿大模型的输出。推理程序他们自己做，因为延迟优化和模型结构绑在一起。

硬件上，接口清楚、市场上也成熟的部件就外购，例如用来避障的激光雷达和部分摄像头。对最终性能关键的部分则想自己掌握，驱动关节的执行器就在此列：执行器好不好建模，会影响仿真和真实控制是否对得上。机器人的身材比例按真人来量，因为预训练用的是人类视频，形态越接近，迁移越顺。Jason 还说，美国目前并没有哪家公司真正从原材料开始、完全在本土造出整台机器人；就算宣称在美国组装，很多原料仍来自别处。只讨论基础模型、不谈硬件有多难，会把问题看短。他以前在 DeepMind 和 NVIDIA 主要做模型，看到过不控制硬件时系统的上限。

先做轮式上半身，而不是一步做成双足

现场这台机器被称作半人形：上半身有肩和手臂，腰部四个自由度，能做很多躯干动作；下半身是轮子。选择轮子，是因为腿的能耗更高、更不稳，目前也没有办法保证双足机器人全程站稳。他提到公开报道里 Optimus 已经多次推倒设计重来，用来说明硬件决策昂贵，不应该一上来就锁死最终形态。

更早的原型几乎只能升降。Jason 用扭到腰的经验说明：人大量使用躯干，只是平时不觉得。如果机器不能前倾，就学不会人在视频里那些弯腰动作，迁移会变差。新机器人硬件就绪不久，预训练里几乎没见过这台机器，但演示任务仍然学得很快。他把这归到“硬件还没好，就先在人类数据上预训练”。

新任务的评估很直接。训练看起来收敛之后，就在采集数据的同一套环境里实机跑。有时一次就够用；若只有七成、八成，就看它错在哪，再补数据。他把它比作机器人版的人类反馈：机器人自己跑出来的好坏，也可以拿回去训练。目标是以后别人也能在这套平台上教新任务。

洗衣能转满一个小时，手还做不到

整套洗衣流程，机器人已经能在大约一小时里走完。更长、更杂的任务卡住的是数据和硬件。布置场地、连续处理多种物品，平行夹爪可能不够，需要更接近人手的灵巧手。而现在最好的灵巧手也不够耐用，很快过热，节目里甚至提到要用冰袋给手降温。硬件不稳定，评估就慢，研究进度一起慢下来。

另一块缺失是感觉。今天的数据主要是视频，加上手部和关节怎么动。人还会听、摸、闻。如果这些维度根本没被记录，就算视频堆到几百万小时，有些任务也解不开。反过来，如果一项工作用现有夹爪和高保真数据就能做完，他认为并没有根本性的模型障碍。洗衣被当作这类例子：洗衣机转的时候去干别的，转完立刻把毛巾移到烘干机，否则整条流水线堵住。这种“下一步该干什么”的决定，单靠每秒输出关节角度来硬学很浪费，所以他们在世界动作模型外面加了一层任务框架，把短技能串成可以无人看管、持续数小时的流程。

动作维度大约在一百这个量级，而且是连续值。为了动作顺滑，模型要以很高的频率预测：大约每秒十到二十次，每次至少一个五十维的向量。只看当前这一帧也不够。微波炉门开到一半时，不看前面几秒，分不清是在开还是在关。

试点和铺开不是同一件事

酒店客户 Best Western 需要叠毛巾。Jason 更希望听众去看鼎泰丰：机器人已经在美国多家门店每天折叠数千张餐巾，这是目前规模最大的客户。他认为真正难的不是把机器人放进一个点做试点，而是客户确认价值之后，愿意在很多门店同时用。餐巾的合格线很细，第二道折痕要落在插筷子的口袋下方大约几厘米。布料会变形，形状近乎无限，专用机械反而难覆盖；他们的经验是，通用模型适配到这个任务，能更快达到可上线的质量。速度上，他说已经和人相当。同一套模型权重可以一起更新到各门店，用来抹平洛杉矶、纽约、西雅图折法不一致的问题。合同扩大之后，客户还在考虑让机器人切菜。包饺子被当成更后面的目标，不是已经做到的功能。

这些部署描述来自受访者。节目没有公布合同金额、单店机器人数量，或与人工成本的对照。页面介绍里的 24 小时、99.4% 成功率，对应的是他另一次演讲中的说法，这次访谈没有展示该测试如何计数。

苦涩教训在这里更贵

Jason 认为机器人也会走上其他机器学习领域的路：算法保持相对简单，把合适的数据做大，泛化会出来。他不太相信“先给机器人画框、告诉它物体在哪”这类很强的人为设定。但机器人里的苦涩教训更贵，因为传感器选什么，决定后来能收集什么数据。硬件和传感器没选对，规模化就无从谈起。

他也认为，如果目标是尽量多的场景，人形最终仍然合适，因为世界是按人的身体建的。通往那里的办法是先用半人形交付，而不是先花很多年做一个仓库人形。只做模型、再部署到别人硬件上的路线，他尊重，但觉得容易看不到全貌，做出技术上很亮、客户并不需要的东西。

和视觉-语言-动作模型相比，他更坚持预测尽可能原始的未来画面。那类模型主要预测动作，或某种预先抽象过的世界；一旦抽象，就等于人提前决定了什么值得预测。他留下一个自己可能错的地方：纯视觉模型也许很强，但画面里相邻像素变化不大，信息很重复；触觉或声音可能更密。如果加上触觉就能用少得多的数据达到同样水平，只做视频生成、再改去控制机器人的公司，未必有传感方面的积累。红外可以只是多一个输入，例如判断食物熟没熟，单靠彩色摄像头很难。

研究要被真实订单牵着走

编程智能体已经进了他们的日常。GPT-6 发布当周，公司做了全员黑客松，一部分成果已经进了生产系统。Jason 觉得意外的是模型搭建虚拟环境的能力，这和前面的合成数据连在一起。六个月到一年内，目标不是死磕某一个招牌动作，而是把已经部署的数十台机器人，扩到明年的数百台。洗衣和餐厅只是用来暴露系统缺口的入口。

团队人数他没有精确数字。粗估硬件大约占三到四成，因为硬件需要更多人手；做模型的大约十人。采集数据的人里，有些以前在零售，没有机器人背景。公司想同时做前沿研究和能交付的产品：要进到新客户现场，就必须解决泛化、全身控制、快速适配、听懂语言和灵巧性。工程师再把这些能力拆成可测试的小任务，比如用“按吩咐从冰箱拿饮料”来检查模型是不是真的听懂了。

Jason 的路径是：高中时下围棋，AlphaGo 出现后进入强化学习；在宾夕法尼亚大学的 GRASP 实验室读博，再到 NVIDIA。做转笔时，他发现人手写不出足够好的仿真奖励，于是做成 Eureka。之后去 Google DeepMind，看 Gemini 怎样用于机器人。他在 2024 年底与 Lindon Gao、York Yang 创立 Dyna，觉得实验室里自己出题、自己评分不够。公司名来自两处：Richard Sutton 一篇关于能自我改进的世界模型智能体的论文就叫 Dyna；另一处是他在日本长大，出生那年的奥特曼系列叫做戴拿。招聘目前在湾区。

他收尾时的判断很直接：这个行业仍然太爱演示。需要更多人把基础模型和硬件接到真实客户现场。两年来从零到鼎泰丰后厨，是这条路线的证据，也还只是证据的开头。