AI news

首个通用触觉基础模型FTP-1来了!Sharpa 联合清华大学等高校,用一套策略打通21种传感器与多类具身形态

By 机器之心2 viewsSource: 机器之心
首个通用触觉基础模型FTP-1来了!Sharpa 联合清华大学等高校,用一套策略打通21种传感器与多类具身形态

来自 Sharpa、清华大学、UC Berkeley、上海交通大学、ETH Zurich 等机构的研究者提出了首个通用触觉基础策略 FTP-1。它基于约 3,000 小时、来自 26 个数据来源和 21 种触觉传感器的数据进行预训练

The full text has not been translated yet. The Chinese original is shown below.

过去几年,机器人视觉学习已经跨过了一个重要门槛。π₀.₅、GR00T N1.5 这类在大规模异构数据上预训练的 VLA 模型,正在成为下游操作任务的通用起点:拿到 checkpoint,针对具体任务微调,再部署到真实机器人上。

但触觉操作一直缺少这样的「基础模型时刻」。现有触觉策略大多仍为特定硬件定制:一个传感器、一只手、一个任务集,对应一套模型。虽然无论是 GelSight、Contactile,还是力 / 力矩传感器都在提供触觉信息,但它们的输入格式、分辨率和物理形态并不兼容,导致已有经验难以跨传感器、跨平台复用。

来自 Sharpa、清华大学、UC Berkeley、上海交通大学、ETH Zurich 等机构的研究者提出了首个通用触觉基础策略 FTP-1。它基于约 3,000 小时、来自 26 个数据来源和 21 种触觉传感器的数据进行预训练,结果显示它不仅能够在不同具身平台之间迁移,在预训练阶段从未见过的传感器上也展现出很强的泛化能力,成功率提升超过 31 个百分点。

文章配图

  • 论文标题:FTP-1: A Generalist Foundation Tactile Policy Across Tactile Sensors for Contact-Rich Manipulation
  • 论文地址:https://arxiv.org/abs/2606.13102
  • GitHub:https://ftp1-policy.github.io/

一个长期难题:

触觉数据很重要,却很难被统一利用

通用视觉-语言-动作(VLA)策略已经证明,大规模数据和异构数据可以带来可迁移的操作能力。但真正的接触密集型操作,例如插入、力控擦拭、手内调整、拧瓶盖等,不能只依赖视觉。机器人需要知道接触是否稳定、力是否偏移、物体是否即将打滑,以及当前动作是否需要减速或调整。

长期以来,触觉学习难以规模化,主要卡在三个问题上:

  • 不同传感器难迁移

现有触觉策略大多绑定特定硬件,不同传感器、具身平台和观察格式之间难以复用,GelSight、Contactile 与力 / 力矩数据之间也很难直接迁移。

  • 简单融合往往无效

直接把触觉 token 注入 VLM backbone,可能反而干扰原有视觉-语言知识。在 Sharpa North 长程任务中,Tactile-VLA 成功率为 35.8%,低于 π₀.₅ 的 45.3%,说明触觉需要专门架构处理。

  • 缺少统一预训练语料

相比互联网图像和 EgoScale 超 20,000 小时人类视频,触觉操作长期缺少跨传感器、机械手和夹爪的统一数据集,FTP-1-Dataset 开始补上这一缺口。

FTP-1 想回答的核心问题是:一个触觉策略能否吸收异构触觉经验,并迁移到预训练之外的传感器和机器人本体上?

方案:形态感知 token + 独立触觉专家

FTP-1 基于 π₀.₅ 的多专家 VLA 架构进行扩展,实现了两点核心创新:

  • Morphology-Aware Tactile Token Space(MTTS,形态感知触觉 token 空间)

MTTS 提供了一个统一接口,可以把任意触觉输入映射到 24 个功能区域 token 上。输入可以是 GelSight 这类图像,也可以是 Contactile 这类阵列,或是力 / 力矩状态量;映射后的 token 则对应语义一致的手部区域,例如拇指指尖、食指指尖、掌心、腕部力 / 力矩等。

功能区域 embedding 会告诉模型:每个 token 来自末端执行器的哪个位置,而不依赖具体物理传感器。平行夹爪可以映射到拇指和食指槽位,灵巧手可以使用 0-14 号槽位,腕部和手指力 / 力矩传感器使用 15-20 号槽位。硬件不同,但语义保持一致。

  • Independent Tactile Transformer Expert(独立触觉 Transformer 专家,约 300M 参数)

不同于 adapter 式融合,FTP-1 会把所有触觉 token 路由到一个专门的触觉专家模块,再由动作头读取这些触觉表示;同时,它不会把梯度反传到视觉-语言专家中。这样既能保护原有 VLM 知识,又能学习可复用的触觉表示。

在下游微调阶段,如果遇到预训练中没见过的新传感器,只需要从头训练对应的传感器 encoder;预训练好的触觉专家、功能区域 embedding,以及共享的图像-触觉 Transformer 模块都可以继续复用。

文章配图

数据:FTP-1-Dataset,

3,000 小时、21 种传感器、26 个来源

基础模型能否成立,数据规模至关重要。FTP-1-Dataset 汇集了来自 26 个来源的约 3,000 小时触觉操作数据,包含 21 种不同触觉传感器(7 种图像、5 种阵列、9 种状态),重采样后的数据混合约 20% 人类数据、30% 灵巧手数据、50% 夹爪数据。

文章配图

其中,Sharpa 贡献了 Sharpa North-FTP-1:4,000 条在 Sharpa North 上采集的长程灵巧操作示教,使用 Sharpa DTC(Dynamic Tactile Array,动态触觉阵列)传感器。Sharpa DTC 也是预训练混合数据中的 21 种传感器之一。论文同时致谢 Sharpa Pte Ltd. 在硬件、算力和该数据集方面提供的支持。

所有标注都在 MTTS 框架下统一标准化,语言指令也通过 GPT-4o 进行改写,以增强表达多样性。它的意义类似触觉领域的 ImageNet:不是简单堆更多数据,而是在异构原始信号之上建立一个共享表示层。

测试:5 家机构、14 个任务,

覆盖已见与未见传感器

FTP-1 的 checkpoint 被分发给全球 5 家独立机构,用于下游微调和验证。这是一次对可复现性和迁移能力都更严格的测试。

  • 已见传感器设置(出现在预训练混合数据中)

文章配图

  • 未见传感器设置(未出现在预训练中)

文章配图

整体来看,14 个任务覆盖手内调整、力控按压、插入 / 拔出、柔性物体交互,以及长程双臂操作。

结果:已知传感器提升 17.2 个百分点,

未见传感器提升 31.6 个百分点

在仿真环境 UniVTAC 中,FTP-1 的平均成功率达到 66.7%,比最强基线高出 17.5 个百分点。如果排除相对简单的抓取,只看更依赖接触反馈的任务,FTP-1 达到 59.5%,而只做架构改造、没有触觉预训练的 FTP-π₀.₅ 为 42.0%。

在真实机器人、且传感器已出现在预训练数据中的设置下,FTP-1 的平均成功率为 62.5%,比 π₀.₅ 的 45.3% 高出 17.2 个百分点:

文章配图

Twist Cap 和 Wipe Dish 这两个任务尤其能说明问题。π₀.₅ 会持续顶住瓶盖,却缺少对力的反应式调整;擦盘子时也容易丢失接触。相比之下,FTP-1 能保持更稳定的压力,并在触觉反馈提示对位不准时主动放慢插入动作。

未见传感器上的结果更关键:FTP-1 比最强基线模型高出 31.6 个百分点,而且只需要从头训练传感器 encoder。Insert Hanoi 任务中,FTP-1 展现出反应式插入控制,在对位不准时会减速;Insert USB 中,即使只有 100 条示范数据,FTP-1 也能生成稳定的接触感知动作,而基线模型更容易抖动并失败。

文章配图

消融实验进一步说明,这不是「数据距离更近」带来的偶然结果。没有触觉预训练的 NTP-1,即使采用相同微调架构,在未见 FlexivXense 传感器上仍明显落后于 FTP-1。这表明 FTP-1 学到的是可迁移的触觉知识,而不是某个传感器或某个任务的局部技巧。

为什么 Sharpa 是关键支点?

FTP-1 并不是 Sharpa 技术栈之外的外部研究,而是建立在 Sharpa 的硬件、数据和模型能力之上。

Sharpa Wave 的 Dynamic Tactile Array(动态触觉阵列)在每个指尖提供超过 1,000 个触觉像素,并支持 6-DoF 力 / 力矩信息,是 FTP-1 预训练语料中的重要组成部分;Sharpa North 则作为真实机器人评测平台,承担 Draw Balloon、Fix Hand、Twist Cap 等长程接触任务,验证触觉预训练在复杂操作中的价值。

更重要的是,Sharpa Wave 的 22-DoF 拟人化动作空间,与 EgoScale、T-Rex 等研究中的动作表示形成呼应,使硬件、数据和模型围绕同一具身标准逐步对齐。FTP-1 也进一步验证了 CraftNet 的判断:触觉不应只是视觉-语言模型的附属输入,而需要独立、高频、可迁移的表示与控制通路。结合 Isaac Sim 资产与真实 Wave 灵巧手,Sharpa 正在从触觉硬件走向基础模型与生态闭环。

更大的图景:触觉进入基础模型时代

多年来,触觉机器人一直面临一个循环难题:没有共享表示,就难以形成共享数据集;没有共享数据集,又难以训练共享模型。FTP-1 用三个核心组件打破了这个循环:

  • MTTS:一种覆盖 21 种传感器的通用触觉 token 语言;
  • FTP-1-Dataset:约 3,000 小时异构触觉操作经验;
  • Tactile Expert:可复用的预训练触觉表示,而不是每个传感器从零训练;
  • 开放发布:预训练模型、数据集和训练代码已在 ftp1-policy.github.io 提供。

结合 SaTA 的空间触觉定位、Tacmap 的触觉仿真到现实迁移、T-Rex 的高频触觉反应,以及 CraftNet 的分层 VTLA 架构,FTP-1 让 Sharpa 触觉智能的技术路径变得更完整:触觉能力可以像视觉能力一样,被预训练、共享并迁移。

对 Sharpa 来说,FTP-1 也帮助 Wave 的硬件价值进一步延伸到软件层。未来,在 Sharpa 平台上采集的每一小时触觉数据,都不再只服务于某一个具体任务,而是会持续沉淀为可复用的模型能力,推动整个触觉机器人生态共同进化。

更多相关 research:

SaTA —— Spatially-Anchored Tactile Awareness

CraftNet —— Hierarchical VTLA for Fine Manipulation

T-Rex —— Tactile-Reactive Dexterous Manipulation

文章来自于微信公众号 “机器之心”,作者 “机器之心”

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)