导读

柯丽一鸣的经历恰好穿过机器人研究近十年的路线变化:她从传统机器人实验室出发,亲手搭建使用筷子的机械臂,再转向模仿学习、强化学习和机器人基础模型,最后加入 Physical Intelligence(下文简称 Pi)。这场近四小时访谈真正要回答的,不是“人形机器人何时进入家庭”,而是一个更基础的问题:机器人怎样从在演示中偶尔完成任务,走向在不同身体、环境和任务里稳定工作。

理解这条路线,需要把模型、数据、硬件和评测放回同一个闭环。模仿学习让机器人从人的示范开始,强化学习让它利用自己的成功与失败继续进步;π0、π0.5 与 π*0.6 又分别检验能力、泛化和执行表现。本文沿着这条主线重组访谈,同时保留公司路线、商业化选择和中美产业生态中的关键分歧。

一、从筷子机器人出发:为什么“机器人大脑”不能脱离身体

时间点:02:11–53:56

本节要点:传统方法擅长在受控环境中稳定执行,数据驱动方法试图降低新增任务的专家成本。柯丽一鸣的筷子机器人说明,模仿学习与强化学习不是两条互斥路线,而是“先学会、再自我改善”的前后两步。

机器人至少包含四层问题

一台机械臂可以从关节开始理解:电机形成可运动关节,底层控制把角度和速度指令变成电机动作;更高层的策略观察环境和任务,决定抬手、靠近、抓取还是放下。动作改变环境后,系统再次观察并修正。

因此,“机器人大脑”并不意味着硬件不再重要。关节精度、延迟、载重、摩擦、传感器和夹爪都会限制模型表现。一次失败可能来自任务理解、动作生成或底层控制,也可能只是设备在高频运行后松动。传统机器人研究者、机器学习研究者,以及硬件、数据和部署人员解决的是同一条链上的不同问题。

机器人研究长期受到硬件成本限制。柯丽一鸣读博时,一个灵巧手可能达到数十万美元,损坏后还要返厂维修;相较之下,语言团队花二十万美元建设数据集已经会被视为很大的投入。硬件昂贵、运行缓慢、维护需要专业知识,解释了为什么机器人学习在当时仍是小众方向,也解释了为什么真实部署数据远比互联网文本难以扩大。

专家写规则,还是机器从数据中学

传统机器人通常先建模和规划,再控制执行。只要物体位置、环境和流程稳定,工程师可以把系统优化到很高的速度与可靠性;波士顿动力等团队的高难动作,证明了长期工程投入能把特定本体推到很高水平。

问题是,这种投入会随任务增加。换一个物体、环境或动作,系统可能就要重新建模和调参。数据驱动路线希望改变这条成本曲线:不再由专家写出每一步,而是让模型从大量任务、环境和不同机器人数据中学习可以复用的规律。

机器学习并不会自动胜出。模型可能在精心布置的 demo 中表现很好,进入真实环境后却犯难以解释的错误。两条路线真正的分水岭,不是算法是否时髦,而是新增任务的边际成本能否下降,以及系统能否在真机上可靠运行。

模仿学习给出起点,强化学习突破起点

柯丽一鸣 2017 年开始博士研究。导师要求她不能只在模拟器中验证算法,于是她从零搭建了一台使用筷子的机器人。筷子只有两个接触点,对定位和控制精度要求很高;如果简单工具也能完成精细抓取,就更能说明策略真正学会了控制,而不是复杂机械手替算法兜底。

她先通过遥操作提供示范。即使自制机械臂存在间隙,人仍能一边观察一边纠正,把小球夹起来。模仿学习据此复制人的高质量轨迹,但它通常受示范者上限约束,也缺少从异常状态恢复的数据:机器人自己运行时积累微小误差,一旦进入人没示范过的状态,就可能不知道怎样继续。

为了让机器人超过示范,她再用强化学习让系统在真机上反复尝试,根据成功、失败和动作质量调整策略。最后,机器人不仅能夹取小球,也能处理晃动目标和玻璃球等更高精度任务。这段经历形成了她此后的基本判断:示范负责把系统带到一个合理起点,自主体验负责让系统学会纠错,并发现人没有直接教过的动作。

二、机器人公司的差别,不是名字,而是选择了哪一种闭环

时间点:53:56–1:54:43

本节要点:机器人行业没有一条统一路线。基础模型、本体、垂直部署和数据工具公司承担不同成本,也获得不同反馈;“人形还是非人形”只是本体选择,“能否跨任务和跨本体迁移”才是 Pi 所说的通用能力。

学术谱系决定先看见什么问题

节目用“江湖”和“族谱”梳理机器人领域,但谱系不是固定门派。卡内基梅隆大学长期推动感知、规划、控制、自动驾驶与机械操作;Mike Mason 等研究者强调,灵巧不只来自复杂机械手,也来自大脑怎样使用简单工具。腿足机器人一侧,MIT Mini Cheetah 和波士顿动力等工作说明,高性能电机、控制和本体设计可以把运动能力推到新的边界。

机器学习一侧,吴恩达的课程帮助一代研究者进入数据驱动方法,Pieter Abbeel、Sergey Levine 和 Chelsea Finn 等人又把强化学习、模仿学习与机器人操作逐步接在一起。Chelsea Finn 与 Sergey Levine 后来共同创办 Pi,这些经历也影响公司为何把数据、模型和真实操作放在同一条研究主线上。

Diffusion Policy、ACT、ALOHA 等工作分别从动作生成、低成本双臂平台和数据采集影响今天的机器人学习。谱系的意义不是给研究者排座次,而是解释他们习惯先问什么:动作是否物理可行、数据能否扩大、模型能否跨任务,还是产品能否进入真实场景。

四类公司在押注不同反馈回路

Pi 和 Skild AI 更强调通用机器人大脑,希望模型跨任务、环境和本体复用。Figure、1X 和 Tesla 等团队更深地进入人形或类人硬件,能够共同优化软硬件接口,但投入也更重。Dyna Robotics 等公司更靠近具体部署,能更早定义成功率和收入,却可能把研发资源锁在少数场景。

Generalist AI、Sunday Robotics 等团队重视便携数据采集与家庭任务,Google、NVIDIA 等大公司则能把机器人研究与既有多模态模型、算力和仿真平台结合。还有公司专门提供遥操作、数据和评测工具,提高其他团队的训练效率。

这些路径没有简单的高下。基础模型公司要先证明同一模型能覆盖更多任务,再寻找商业承接;本体公司可以决定所有接口,却要同时解决可靠性、成本和制造;垂直公司更容易形成客户闭环,但通用能力可能进展较慢。外部也不能凭几段公开视频判断技术水平:演示可能来自针对单一场景的大量调试、遥操作,或只展示成功片段。

人形是一种身体,通用是一种迁移能力

支持人形的理由很直接:楼梯、门把手、工具和工作台都按人体设计,人形设备理论上能使用现有环境和人类动作数据。Tesla、Figure、1X 等公司因此把人形作为重要方向。

Pi 采用另一种“通用”定义:不是只给最像人的身体做大脑,而是让同一个大脑适应不同身体。人可以驾驶汽车、操作挖掘机或使用工具;通用模型也应理解不同本体的动作接口,在双臂、轮式、人形或合作伙伴设备上迁移。

柯丽一鸣并不反对人形,但认为现阶段任务表现比外形更重要。一个固定双臂平台如果能完成复杂装配,可能比一个外观完整、却只能做简单动作的人形更接近实用。形态最终应由任务、成本、安全、数据和维护决定,而不是“像人所以通用”的单一推理。

三、Pi 的三步主线:先证明能力,再检验泛化,最后改善表现

时间点:1:54:43–2:26:01

本节要点:π0、π0.5 与 π*0.6 不是三个简单递增的产品版本,而是三次不同实验:模型能不能完成过去困难的任务,能不能进入未见过的环境,以及能不能利用自己的部署经验做得更快、更稳。

π0:先确认大模型“有能力”

π0 发布前,团队已经相信大模型架构可以用于机器人,但不知道能力上限。于是他们选择叠衣服、叠纸盒和清理桌面等任务:柔性衣物检验形状变化,纸盒要求精细接触,桌面清理则通过大量物体检验视觉与抓放覆盖。

目标不是宣布这些任务已经被永久解决,而是证明同一类模型能在此前不确定能否完成的操作上出现可重复成功。π0 把视觉、语言和动作放进统一模型:视觉描述环境,语言给出任务意图,动作模块产生连续控制;来自不同机器人的数据还需要被转换到可共同学习的表示中。

Pi 选择公开论文和部分模型,让外部团队能够复现、使用和寻找边界。但“开源”不等于复制成本消失:数据配比、训练基础设施、硬件调试和评测经验仍然掌握在具体团队的长期实践中。模型文件只是整个系统的一部分。

FAST 研究怎样为连续动作找到更适合大模型的表达方式;Hi Robot 则把“收拾房间”这类长指令拆成较短子任务,再由低层策略执行。它们说明,机器人基础模型不是把语言模型直接接到机械臂上,动作表示和任务层级会决定系统能否稳定工作。

π0.5:到新房子还能不能工作

模型在训练环境中成功,不代表换一所房子仍然有效。π0.5 检验开放世界泛化:如果在住宅 A 收集数据,到住宅 B、C 后是否必须重新训练?团队进入多处 Airbnb 等真实住宅,面对无法统一控制的布局、光照、物品和杂乱程度。

节目提到研究覆盖约百个家庭,并通过减少训练住宅观察泛化曲线。结果显示,增加环境多样性能够帮助模型迁移,而且收益可能逐渐出现边际递减。但这不等于机器人可以进入任意家庭:换房间、物体、摆放方式、任务长度或本体,仍然是不同维度的泛化问题。

π*0.6:让“会做”进一步变成“做得好”

通用模型可能什么都能尝试,却每件事只做到“半调子”。π*0.6 让机器人自主 rollout:已有模型自己执行任务,把成功、失败、偏离和恢复过程保存下来,再用这些体验继续训练。

自主数据能覆盖人类示范没有出现的错误状态,也可能帮助模型发现更适合自身硬件的动作。但它不是免费数据:设备仍要部署、维护和监控,失败可能损坏物体,结果还要被正确判断。真正减少的是持续由人逐帧遥操作的成本,而不是全部运营成本。

这类数据至少有三项独特价值:它记录机器人自己会进入的异常状态;允许模型发现比人类示范更快、更适合自身本体的动作;在硬件足够稳定时,还能减少大规模训练对遥操作人员的持续依赖。它的代价则转移到了设备运营、安全控制和结果标注上。

评测也不能只问“是否成功”。一个任务如果偶尔做成,却耗时很久或动作摇摆,就没有实际吞吐。π*0.6 使用类似 throughput 的指标,把固定时间内成功完成的任务数纳入评价。节目称系统在部分任务上超过熟练遥操作员;这个结果只适用于论文设定、硬件和任务,不能外推成机器人全面超过人类。

四、数据决定模型上限,但“更多”从来不是充分条件

时间点:2:26:01–3:04:53

本节要点:机器人数据的价值取决于任务、质量、覆盖和信息量。真机与仿真不是信仰之争,强化学习也不只是给奖励;真正困难的是安全探索、判断哪一步带来成功,以及把人的意图定义成可验证的任务。

好数据要回答四个问题

柯丽一鸣给出四个判断维度。第一是任务价值:机械臂随意挥动也会产生轨迹,却未必包含有用目标。第二是动作质量:直接、稳定地抓杯子,和长时间摇摆后偶然成功,训练价值不同。第三是覆盖度:数据是否包含不同物体、位置、光照、背景、初始状态和失败情形。第四是可提取信息:合适的标签、模型目标与数据结构,决定系统能从同一条轨迹中学到多少。

只保存完美示范会漏掉最需要学习的时刻:手偏了、物体滑了、抓取失败后怎样继续。模仿策略的小误差会逐步放大,最后进入训练分布之外。机器人自主运行恰好能产生自己的失败分布;只要可以安全执行并判断结果,这些失败就能成为恢复训练材料,而不只是被剪掉的“不漂亮片段”。

真机负责现实物理,仿真负责规模与覆盖

仿真便宜、可并行,也容易生成危险或稀有情形;真机昂贵、速度慢,却包含摩擦、柔性、传感器噪声和硬件误差。叠衣服是典型边界:布料褶皱和材料属性很难完整模拟,节目时点还缺少一个足够可靠的模拟器,让模型只靠仿真训练就稳定迁移。

因此不能按轨迹条数比较两者。一千万条高度重复或物理失真的仿真数据,未必比少量覆盖关键边界的真机数据更有效。更现实的路线是混合使用:仿真扩大覆盖、验证算法,真机校准现实差异并完成最终闭环。

强化学习的难点是探索、归因和任务定义

机器人首先要决定下一次试什么。改动太小,学习缓慢;改动太大,真机可能频繁失败。其次,长任务最后成功,不代表每一步都正确,系统要找出真正改善结果的动作。最后,人说的“把衣服叠好”并不是一个完整指标:如果奖励定义粗糙,机器人可能把衣服堆在一起,也被判定成功。

语言能帮助传递意图,却不是终极答案。“叠好”仍省略了形状、位置和质量要求。未来的视觉—语言—动作模型仍需要分层计划、结果验证和更完整的上下文,而不能只把一句指令直接映射成动作。

从个人研究转向团队系统工程

柯丽一鸣曾拿到剑桥教职机会,却最终加入刚成立不久的 Pi。她的博士项目大多由个人完成:从搭机器人到硬件运行约三个月,遥操作系统稳定又花了更久;设备坏了,研究者自己修。这种经历建立了深度理解,却很难扩展到需要数据、算力、硬件、训练和评测并行的基础模型。

成为教授原本是她长期规划的一部分,剑桥的人文环境也与她写小说的兴趣契合。真正改变判断的,是机器人前沿正在快速转向需要长期设备、算力和多人协作的基础模型。她第一次到 Pi,本以为只是了解 Sergey Levine 在做什么,却不断反问团队的研究设想,后来才知道那也是一次面试。吸引她的不只是职位,而是能与一批研究者共同解决同一个长期问题,以及团队强调让实验结果而不是论文故事决定方向的“求真”文化。

创业公司能把更稳定的团队和基础设施放在同一目标下。小团队沟通链短,昨天提出的想法,今天讨论,明天可能成为项目;π*0.6 研究期间,团队发现评测数据不足后,也能迅速扩大采集规模。但速度要求共享标准:如果任务定义、数据质量和评测只存在少数人脑中,快速实验会产生难以复现的结果。组织效率不能代替正式治理、模型安全与长期产品责任。

五、从漂亮 demo 到可靠产品,中间隔着评测、商业和硬件

时间点:3:04:53–3:31:19

本节要点:机器人进入产品之前,必须同时回答“是否成功、是否足够快、失败后能否恢复、能否长期运行”。Pi 暂缓垂直商业化,是为了保护基础研究主线,但这也会推迟真实客户、收入和部署数据的形成。

机器人评测为什么比语言模型更难

语言模型可以在固定题库上批量测试,机器人每次运行却会受到物体位置、光照、桌面高度、机械磨损、背景和传感器状态影响。不同公司又使用不同任务和本体:有人强调家庭长任务,有人强调工厂吞吐,还有人强调跨本体迁移,单一成功率无法公平比较。

可信评测至少应说明:测试任务是否参与训练、环境变化范围、运行次数和失败样本,以及速度、安全与恢复能力。缺少这些信息,一段 demo 最多只能证明“系统曾在某次条件下成功”,不能证明产品可靠或具备通用能力。

Pi 为什么不急着把研究锁进一个行业

Pi 选择先做研究型基础模型,而不是马上把资源集中到仓储或工厂。柯丽一鸣提到,垂直商业化虽然能带来客户和数据,也会消耗大量工程资源,使研究路线被少数客户需求锁定。

团队因此先解决能力、泛化和表现,再与叠衣、打包等场景合作。合作方负责更接近部署的硬件和业务,Pi 的模型进入真实环境接受检验。公司也会为研究任务优化设备,例如提高稳定性或使用可更换夹爪,但暂不承担完整硬件制造。

这一路线同样有代价。没有大规模商业部署,模型可能缺少持续真实数据和明确收入;合作伙伴的数据与接口也会增加协调成本。暂缓商业化是为了保护研究主线,不代表商业问题可以无限推迟。

家庭场景会同时放大所有难题

家庭被视为通用机器人的终极检验,因为它会同时放大四类问题。第一,每个家庭的空间、物品、光照和摆放都不同,环境无法标准化。第二,收拾、清洁、烹饪和整理柔性物体包含大量接触与长程步骤。第三,一台设备必须连续数周运行,承受碰撞、磨损和误操作。第四,机器人与老人、儿童和宠物共享空间,摔倒或夹伤的代价远高于实验室失败。

更小、更轻的本体可以降低能耗与伤害风险,却可能够不到为成人设计的设施,也更难直接利用人类动作数据;大型人形覆盖范围更广,但成本、跌倒和可靠性问题更突出。

家庭落地不是找到一个漂亮外形,而是能力、泛化、硬件寿命、安全和经济性同时过线。今天在受控场景完成一次任务,距离连续数周安全工作仍有很长距离。

中美优势分布在同一条产业链的不同位置

柯丽一鸣认为,中国在电机、关节、结构件和整机迭代上的供应链优势明显;美国的优势则更集中在基础模型研究、软件、算力、大学人才和风险资本。论文或模型开放也不等于可以零成本复制,训练基础设施、数据配比、硬件经验和评测体系都需要长期积累。

两侧也各有短板。美国硬件产业链不足会拖慢设备定制与迭代,中国团队若过早被商业回款绑定,也可能缺少长期基础模型投入。真正产品更可能依赖软硬件协作:模型团队需要便宜稳定的本体,硬件团队也需要通用模型让设备产生持续价值。

六、机器人可能改变身体形态,但仍未越过现实工作的门槛

时间点:3:31:19–3:48:04

本节要点:访谈最后进入机器人身份、意识和“技术种族”的想象,但这些不是已经发生的研发进度。比哲学终局更现实的目标,是让机器人稳定承担重复劳动,同时保留安全、责任和人的选择。

柯丽一鸣对机器人感兴趣的一点,是身体可以维修、更换和重新组合。一台机器从电机到外壳全部换过,只保留编号,它是否还是原来的机器?如果机器人未来能够组装、维修并延续自身,又是否会形成某种技术种群?这些问题与“忒修斯之船”相似,却可能在维护、身份和责任归属中变成现实问题。

她把“机器人能够制造机器人”视为一个潜在里程碑:如果系统可以组装、维修并延续自身,它才更像形成了代际延续的技术种群。但这仍然是远期想象,不能写成正在发生的研发进度;当前机器人连在普通家庭稳定工作都没有解决。

关于意识,她保持谨慎。人类尚不能清楚解释意识怎样从生物系统产生,也无法仅凭行为相似证明机器拥有主观体验。现有 AI 可以让人产生“它像有意识”的交互感,但这种感受不等于意识已经被证实。

她更确定的是生产力目标:机器人应减少重复劳动,让人把时间用于创造、关系和探索。这个目标仍然受到现实条件约束——模型版本不是线性能力等级,人形不等于通用,单任务超过人类不等于通用智能,真机数据也并非所有任务的唯一答案。

六条不能越过的推论边界

  • π0、π0.5 与 π*0.6 分别回答不同问题,不能只凭版本号推断所有指标全面提高;
  • 跨任务、跨环境、跨本体和“用人形覆盖人类环境”是不同的通用目标;
  • 论文设定中的单任务超越,只能证明特定系统在特定评测中改善;
  • 真机数据很重要,但仿真、视频、便携采集和合成数据可能在不同任务中更有性价比;
  • 过早商业化可能分散基础研究,过晚建立部署闭环也可能失去数据、客户和收入;
  • 中美生态比较是嘉宾在访谈时点的观察,不能外推为所有公司或长期胜负。

与其预测机器人最终会变成什么,更重要的是继续追问:系统在什么环境中成功,依赖什么数据和硬件,失败时由谁承担风险,又是否真的改善了人的生活。


材料说明:本文依据本期 3 小时 48 分完整混合转写及节目章节重编。说话人分离、人名、模型名和英文术语存在自动识别误差,仅在上下文足够清楚时校正。π0.7 只在节目开场和 shownotes 更新中被简要提及,因此未作为访谈主线扩写;公司路线、中美比较和未来判断均保留为嘉宾观点或节目讨论。