In-N-On：利用真实场景与任务数据扩展自我中心操作能力

论文信息

标题: In-N-On: Scaling Egocentric Manipulation with in-the-wild and on-task Data

作者: Xiongyi Cai, Ri-Zhao Qiu, Geng Chen, et al.

发布日期: 2025-11-19

arXiv ID: 2511.15704v1

PDF链接: 下载PDF

---

从人类视频到机器人操作：In-N-On如何解锁具身智能新潜能

论文背景与研究动机

在人工智能与机器人技术快速发展的今天，如何让机器人像人类一样灵活地执行复杂操作任务，一直是研究者们面临的重大挑战。传统方法通常依赖于精心设计的仿真环境或有限的实验室数据，但这些方法往往难以适应真实世界中复杂多变的环境。与此同时，随着可穿戴设备的普及，以自我为中心视角（egocentric view）拍摄的视频数据正以前所未有的速度增长，这为机器人学习提供了宝贵的数据资源。

然而，现有的大多数方法仅仅将人类视频数据用于简单的预训练，未能充分发挥这些数据的潜力。主要障碍在于数据的异质性——不同场景、不同任务、不同执行方式带来的巨大差异使得模型难以有效学习。《In-N-On: Scaling Egocentric Manipulation with in-the-wild and on-task Data》 这篇论文正是针对这一核心问题，提出了系统性的解决方案。

研究团队认识到，人类数据可以根据其与目标任务的关联程度分为两类：“野外数据”（in-the-wild data） 和“任务数据”（on-task data）。前者提供了丰富的背景知识和通用技能，后者则直接针对特定任务。如何有效结合这两类数据，成为提升机器人操作能力的关键。

核心方法和技术细节

数据分类与处理框架

论文首先提出了一个创新的数据分类框架：

1. 野外数据（In-the-wild Data）

• 来源：日常生活中的各种操作场景
• 特点：多样性高，覆盖范围广，但与特定任务关联性弱
• 在PHSD数据集中包含超过1000小时的此类数据

2. 任务数据（On-task Data）

• 来源：针对特定操作任务专门收集
• 特点：与目标任务高度相关，但收集成本高，多样性有限
• 在PHSD数据集中包含超过20小时的此类数据

PHSD数据集构建

研究团队精心构建了PHSD数据集，这是该研究的核心贡献之一。数据集的设计考虑了以下几个关键因素：

• 时间跨度：总计超过1000小时的野外数据和20小时的任务数据
• 任务多样性：覆盖日常生活中的多种操作任务
• 标注质量：包含详细的语言指令和动作标注
• 视角一致性：全部采用自我中心视角，确保与机器人视觉的一致性

Human0策略学习

基于PHSD数据集，论文提出了Human0——一个基于流匹配（flow matching）的大规模自我中心语言条件策略：

技术架构特点：

• 流匹配技术：采用先进的生成建模方法，能够更准确地模拟连续动作序列
• 语言条件化：支持自然语言指令，实现更灵活的任务控制
• 多模态融合：整合视觉、语言和动作信息

领域自适应技术： 为了解决人类与机器人之间的形态差异，论文采用了创新的领域自适应方法：

• 动态域适应：在策略学习过程中实时调整模型参数
• 特征对齐：确保人类数据中学到的特征能够有效迁移到机器人平台
• 模拟到真实转换：通过精心设计的转换管道，缩小仿真与现实的差距

创新点和贡献

方法论创新

1. 数据分类理论框架 论文首次系统性地将人类视频数据分为野外数据和任务数据，并详细分析了各自的特点和使用方法。这一分类为后续的数据收集和利用提供了理论指导。

2. 规模化数据处理流程 研究团队开发了一套可扩展的数据处理流程，能够有效处理超过1000小时的大规模视频数据，这在以往的研究中是罕见的。

3. 端到端策略学习 Human0实现了从原始视频数据到可直接部署的操作策略的端到端学习，避免了传统方法中复杂的中间表示和手工特征工程。

技术突破

1. 纯人类数据下的指令跟随 令人印象深刻的是，Human0仅使用人类数据就实现了可靠的语言指令跟随能力，这在以往被认为需要大量机器人交互数据才能实现。

2. 小样本学习能力 通过有效结合野外数据和少量任务数据，模型展现出强大的小样本学习能力，能够快速适应新的操作任务。

3. 鲁棒性提升 利用任务数据进行微调，显著提升了模型在复杂环境中的鲁棒性，能够更好地处理干扰和意外情况。

实验结果分析

论文通过系统的实验验证了所提方法的有效性：

基准测试表现

在多个标准操作任务上的测试表明，Human0在以下方面表现出色：

• 任务成功率：相比基线方法提升显著
• 指令理解准确性：能够准确理解复杂的自然语言指令
• 泛化能力：在未见过的环境和物体上保持良好的性能

消融研究

通过系统的消融实验，论文验证了各个组件的必要性：

• 数据组合的影响：实验表明，同时使用野外数据和任务数据的效果明显优于单独使用任何一种数据
• 领域自适应的重要性：去除领域自适应组件后，性能显著下降，证实了该技术的有效性
• 规模效应：随着数据量的增加，模型性能持续提升，显示出缩放定律的存在

实际部署测试

在真实机器人平台上的测试进一步证实了方法的实用性：

• 实时性能：能够满足实际应用的实时性要求
• 安全性与可靠性：在复杂环境中表现出良好的安全特性

实践应用建议

对于机器人研究者

数据收集策略

• 建立系统的数据收集流程，同时关注数据的广度和深度
• 采用标准化的标注规范，确保数据质量的一致性
• 考虑隐私和伦理问题，特别是在收集人类视频数据时

模型训练建议

• 采用渐进式训练策略：先使用野外数据预训练，再用任务数据微调
• 注意领域差异问题，尽早引入领域自适应技术
• 充分利用大规模预训练的优势，但同时注意计算资源的合理分配

对于工业应用

制造业机器人

• 利用该方法快速培训适应新生产线的操作机器人
• 通过人类示范数据快速更新机器人技能，适应产品变更

服务机器人

• 开发能够理解自然语言指令的家庭服务机器人
• 利用野外数据增强机器人在非结构化环境中的适应能力

技术实施要点

计算资源规划

• 准备充足的计算资源处理大规模视频数据
• 考虑分布式训练策略以提高效率

系统集成考虑

• 设计灵活的策略部署管道
• 建立有效的性能监控和更新机制

未来发展方向

技术层面

多模态学习扩展

• 整合触觉、听觉等多模态信息
• 开发更高效的多模态融合机制

元学习与小样本学习

• 进一步增强模型快速适应新任务的能力
• 开发更高效的迁移学习算法

仿真与现实的无缝衔接

• 改进领域自适应技术，进一步缩小仿真与现实的差距
• 开发更真实的仿真环境

应用层面

个性化机器人

• 开发能够适应不同用户习惯的个性化操作策略
• 研究人机协作的新范式

复杂任务分解

• 扩展方法处理更复杂的多步骤任务
• 开发层次化的策略学习框架

总结与展望

《In-N-On》论文通过创新的数据分类方法和规模化处理技术，为基于人类视频数据的机器人操作学习开辟了新的道路。其核心贡献不仅在于提出了有效的技术解决方案，更在于建立了一个系统性的框架，指导如何充分利用不同类型的人类数据。

该方法展现出的几个关键特性——纯人类数据下的指令跟随、小样本学习能力和增强的鲁棒性——标志着我们向更通用、更灵活的具身智能系统迈出了重要一步。特别是能够仅从人类数据中学习有效的操作策略，这大大降低了机器人学习的成本和对机器人硬件平台的依赖。

展望未来，随着可穿戴设备的进一步普及和视频数据的持续增长，这种基于人类示范的学习方法具有巨大的发展潜力。结合快速发展的生成式AI技术和多模态学习算法，我们有望看到能够在复杂、开放环境中自如操作的机器人系统，这将深刻改变制造业、服务业乃至日常生活的各个方面。

然而，这一方向仍面临诸多挑战，包括数据隐私、算法透明度、安全保证等伦理和社会问题。未来的研究需要在推进技术的同时，充分考虑这些因素，确保技术的发展能够真正造福人类社会。

项目网站：https://xiongyicai.github.io/In-N-On/