YT YouTube2Text

YouTube2Text → Transcripts → 机器人触觉的爆发前夜：五大技术路线、数据困局与模型之争｜机器人系列

机器人触觉的爆发前夜：五大技术路线、数据困局与模型之争｜机器人系列 — Transcript

by 硅谷101 · 1,212 words · 1,100 segments · language zh · Watch on YouTube

Open in transcriber Summarize with AI Download SRT/VTT

Full transcript

0:00你敢让机器人给你按摩吗
0:02它刚才是在找我的穴位
0:05说实话以前我是不敢
0:07万一它用力过猛真的有点吓人…
0:10但在今年的WAIC上我体验了一把之后
0:13发现...
0:15还挺舒服的啊
0:17这台给我按摩的机器人
0:18很大的不同在于它搭载了触觉传感器
0:23有人说 “触觉”是具身智能的最后一块拼图
0:27真是如此吗
0:28老黄也提出来
0:29触觉其实是
0:31机器人有了触觉后
0:33真的能更强大吗
0:34干活会更聪明吗
0:36如果答案是肯定的
0:37那么为什么目前大多数机器人都还没有触觉
0:40市场上有哪些路线与冲突呢
0:43大家好欢迎收看硅谷101
0:45我是陈茜
0:46这期视频跟我们一起走进实验室
0:48去看看触觉传感器的前线研究
0:51我们来聊聊机器人的触觉到底发展到什么程度了
0:59第一个问题是机器人为什么需要触觉呢
1:02我们不妨先玩一个游戏
1:03这一堆花生中有三个是假的
1:05只能看不能摸
1:07你能够最快挑出假的吗
1:09这个
1:10这个
1:11然后这个
1:13好难选
1:15这个吧这个
1:16很遗憾可能三颗都没选对
1:17全错吗
1:20先别着急嘲笑我
1:22大家也可以跟着来“云挑战”一下
1:24接下来我们降低一点难度
1:26把这一堆花生变成六个
1:28其中有两个是假的
1:30大家来盲猜一下哪两个是假的呢
1:32我们也同时让机器手做一下这个挑战
1:34看一下它能否分辨得出来
1:36看一下它的准确率
1:40这个是真的
1:43这个是假的
1:44是的
1:45看一下最后一个
1:47全对
1:49厉害厉害
1:50怎么样你猜对了吗
1:51猜错了也没有关系
1:53毕竟两个假花生做得实在是太真了
1:56为什么机器手能猜对呢
1:59就因为它搭载了触觉传感器
2:01相信我只要能够上手摸
2:03你也能够很快分辨出来
2:05因为假花生是石头做的
2:07表面更冰凉、更光滑重量也更重
2:10还是实心的
2:11摇起来没有真花生中果粒的振动感
2:13通过这个案例
2:15相信你也明白了触觉的重要性
2:17现实中有很多任务
2:19是无法单纯通过视觉来完成的
2:22行业界有一些实验就比如说
2:24专门把有一些正常人的手
2:27我们打一些麻药
2:28就触觉感知神经给它短暂地麻醉掉
2:32这个时候的人其实对一些操作是
2:34就已经失灵了
2:35拧一些东西、抓握
2:37或者甚至系扣子等等
2:39你可能会疑惑
2:40一些没有触觉的机器人
2:42不是在很多任务上的成功率都很高了吗
2:45但是业内人士就指出
2:47成功率高并不等于可用性强
2:50只用视觉我动得非常非常慢
2:53每次微调一毫米我不断地去试
2:56总归我是能完成这些任务的
2:58所以如果我们只是去看这个成功率的话
3:01其实它是一个伪命题
3:02那么在这种情况下
3:03力就变得非常重要
3:05比如说我握一个东西握得多紧
3:08两个物体有没有咬合上
3:11比如说我要去拧一个螺丝
3:13那我不能只靠视觉说
3:15螺丝拧花了我才会认为
3:17这个力过大了那太晚了
3:20就比如说我柔性的操作
3:21我每根线的软硬度、它的材质都很重要
3:25那么触觉到底是什么呢
3:27它听上去是一种感觉
3:29但我们把它拆开来看会发现
3:32它其实包含两种不同维度的信息
3:35一类是对“力”本身的感知
3:37另一类是对“形态学”的感知
3:39其中力的感知还分为静态力和动态力
3:42静态力是抓握物品的时候
3:44手指持续施加的压力
3:46它告诉你捏得够紧吗物体有多硬
3:49动态力是物体滑动时候产生的高频信号
3:52它会告诉你
3:53是不是要掉了、摩擦力够不够
3:55而形态学的感知就是对不同材料的分辨
3:58比如说通过触摸分辨苹果和橘子
4:01就得判断表面是光滑还是粗糙
4:03摩擦时候的振动频率等等
4:06这么多复杂的维度
4:07放在机器身上该如何识别呢
4:15目前我们看到市面上的方案主要有五种
4:18分别是压阻式、压电式、电容式、光学式
4:21还有磁感应
4:22我们先来说一下压阻式
4:24这是最传统、最成熟的一条路线
4:27材料受力之后发生形变
4:29电阻值发生变化
4:30通过测量电阻变化来反推压力
4:33我们常用的电子秤就是这个原理
4:36它最大的优势是成熟、便宜、技术门槛低
4:39但是它只能测垂直方向上的力
4:41并且会随着温度、湿度产生漂移
4:44第二种是压电式
4:46一些特殊材料
4:47比如说石英、PZT陶瓷受力时
4:50内部正负电荷中心发生偏移
4:52从而产生电压信号
4:53就像打火机的放电器
4:55而它最大的特点是只对变化的力敏感
4:58什么意思呢
4:59就是你按下去的一瞬间
5:00它会产生一个电压信号
5:02但是如果你一直按着不动
5:04信号就会慢慢地衰减到零
5:07松开的时候又会产生一个反向的电压信号
5:10所以压电式非常适合检测振动、冲击
5:13这类高频动态信号
5:14却难以测量静态力
5:16前面两种都是直接把“力”
5:18转化为“电信号”
5:19后面三种就不太一样了
5:21是把“力”转为了“形变量”
5:23然后测形变的程度
5:25这样做的一大好处就是
5:27不再只局限在垂直方向
5:29而是能够检测出三维的力
5:32电容式的原理就是平行板电容器
5:35当材料受力的时候弹性材料会形变
5:38比如按下去的时候上下两层更近了
5:41电容变大此时就能够测量垂直方向上的力
5:44或者滑动的时候
5:45板面积变化电容也变化
5:47能够感受到平面上的力
5:49它的优点是灵敏度极高、响应速度快
5:52而且成本相对较低
5:53但问题在于动态范围有限
5:55同时容易受到电磁干扰
5:58第四种是光学式也叫视触觉
6:00它是在传感器最上层覆盖一层柔性材料
6:04接触到物体时会产生形变
6:06材料背面有照明层
6:08而藏在最底下的摄像头
6:09会实时检测材料的状态
6:11通过算法反算出形变量
6:13再换算成力的分布
6:15因此这是一种可以同时解算接触形貌
6:18和接触力的传感器
6:20这就是目前行业最热门的方式
6:23也是精度最高的方式
6:24但是成本较高
6:26其中的细节点我们稍后来说
6:28我们先聊完最后一种方式
6:29也就是磁感应
6:31这种方式结构和光学式类似
6:33只是表面的弹性材料加入了磁性颗粒
6:36去掉了中间的照明层
6:38底部的摄像头变成了磁传感器
6:40这样表面弹性体变化的时候磁场也变化
6:43底部传感器捕捉变化之后反算出形变量
6:46同样能够推算出三维力
6:49但磁感应容易受电磁干扰
6:51周围的磁场环境会影响精度
6:53而且分辨率有限
6:54还有一些其他不太常用的方式
6:57比如说磁流体还有超声等等
6:59我们就不详细说明了
7:01以上不同的方式各有优劣
7:03我们的采访嘉宾就认为
7:04对于机器人的触觉来说
7:06多传感器结合也许是更好的方案
7:11你看我们除了手指之外
7:13其他的每一寸皮肤都是有感知的
7:16如果机器人想做到人类的水平
7:18是不是也需要全身都布满触觉呢
7:21但如果全身都用最好的技术
7:23那么成本就很难控制了
7:25而且不同部位的要求也不一样
7:28同一种技术路径也难以适用全身
7:31比如指尖的精度要求非常高
7:33使用光学式的方案就能达到更高分辨率
7:36但是如果是手掌、手臂等其他部位
7:39精度要求没那么高的时候
7:40用昂贵的光学式就不划算了
7:43同时它的面积也比较大
7:44比如说我们去考虑视触觉的话
7:46那我们这个光学模块的设计
7:49就会非常非常的困难
7:51但是如果我们使用
7:52比如说压阻式或者电容式的
7:54那它就会比较容易去覆盖这么大的面积
7:58在一些比较简单的应用场景下
8:00也可以选择精度不那么高的路径
8:03比如说我们在WAIC的展会上
8:05就看到一些采用电容式的触觉传感器
8:08已经被批量用于工厂的产品分拣
8:11还有检测了
8:12原因就在于成本相对较低
8:15与精度最高的光学式相比
8:17采购价只有四分之一到二分之一
8:19而且即使是同一个部位
8:21未来也有机会融合多种技术
8:23但前提是技术得足够成熟
8:26电容其实它的灵敏度非常高
8:28但这个问题就在于
8:29当你把这个材料已经压紧了之后
8:31它对于力的感知范围就会非常有限
8:35但压阻其实是一种必须硬碰硬的技术
8:39所以在这种情况下
8:41其实结合两者是一个可行的方案
8:44但是问题就在于到底这个制造的工艺
8:48和它的良率和它的量产能力
8:52是否能够跟上我们的需求
8:54但是现阶段
8:55可能大家都还在尽可能地去完善
8:58单一技术路线本身的一些缺陷
9:01除了力的感知
9:02广义的触觉还包括振动、材质感知等等
9:06这就得依靠其他的传感器来补足
9:08比如说人类想分辨丝绸和棉布的时候
9:11会通过触摸加滑动的方式来产生振动
9:15来感知材质的细粒度
9:17那么到了机器人身上该怎么做呢
9:19我们会加入像加速度计
9:21或者像麦克风这种传感器
9:23能够更有效地捕捉到高频振动产生的信号
9:26所以完整的触觉方案
9:28不是选一种技术路线就完事了
9:31目前行业里面最前沿、精度最高的
9:33就是光学式
9:35我们的采访嘉宾Eric
9:36所创办的公司一目科技
9:38也就是选择了这个方向
9:39那么接下来我们就走进他的实验室
9:42探究一下光学式的原理
9:482000年前后
9:49一批研究人员开始尝试一个大胆的想法
9:52触觉能不能也像视觉一样
9:54被摄像头“看见”
9:55其中最具代表性的探索之一
9:57是来自MIT教授Edward Adelson
9:59领导的团队
10:00他们在2009年提出了GelSight
10:03让机器人第一次拥有了
10:04类似“视觉”的触觉能力
10:07光学式最显著的优势就是分辨率高
10:10甚至已经超过了人类
10:12人的一个指尖大概1平方厘米
10:15上面布了3000个触觉的感知点
10:16上面布了3000个触觉的感知点
10:18感知点
10:19对每一个点下面
10:20有四个不同的nerve（神经元）
10:21就相当于12000个不同的神经元
10:24在去做感知
10:25我们的传感器现在可以做到24万个点
10:29就已经超过人了
10:30但是代价也不小
10:32接下来我们从材料、结构、算法、成本
10:35四个方面详细来说说
10:37首先是材料有三大要求
10:39第一就是得特别软
10:41业内称为“杨氏模量”低
10:43这样才能够通过细致的形变
10:45精确地反映物体的硬度和力度
10:48第二是得耐磨不然日常执行任务久了
10:51就会出现性能漂移或者破损
10:54第三是要尽量薄
10:55才能尽可能缩小整个传感器尺寸
10:58扩大应用场景
11:00而这三点却天然对立无法同时满足
11:03我们一直讲它是个不可能三角
11:05但我们只能找平衡
11:06以及说找一些新的方法
11:09能不能把某些的变量给的约束条件去掉
11:13或者说减弱
11:15接下来我们去到材料实验室
11:17看看新材料的研发过程
11:23这边是我们自己做配方研究的一个实验台
11:27可以看到其实这边我们这些原材料
11:30大部分都是这种液态的材料
11:32其实种类很多
11:34感觉是个化学实验室
11:35对
11:36通过我们自己研究
11:37要把这些不同的原材料给它混到一起
11:41从而能够使它在成型之后
11:44达到我们想要的这种性能
11:47这个事情的难点在哪里
11:49就是配方的各种不一样的配比
11:52Ratio（比例）还是
11:53它其实还不仅仅是这种配方
11:55我们从底层的一些化学基底开始研究
11:58单体然后到我们的配方
12:00Eric告诉我们
12:01现在行业出现了一种很有意思的材料
12:03叫做“可恢复性材料”
12:05就像人一样就算不小心给划破了
12:07过段时间就能够自愈
12:09它恢复性一般来自于一些特殊的官能团
12:14就比如说我们会发现有一些分子
12:16它的分子键断裂之后还会恢复
12:18就是这种特殊的一些官能团
12:20我们（做配方时）要去保留
12:21这是我们新型的、非常新颖的一种材料
12:25能做到跟人皮肤很接近吗
12:28很接近这个就是
12:31你可以上手试一试
12:33这超软的
12:34比刚才那个软很多
12:36对像婴儿摸起来
12:39它也没有任何伤害的感觉
12:42我们再来聊聊结构
12:43手指肯定是越小越灵活对吧
12:46这就要求触觉传感器也尽可能做得小
12:50我们的产品体积是最小的
12:52我们的厚度和SIM卡的大小
12:54基本上是一致的不到16毫米
12:56为什么做得薄是一个技术领先的事情
12:59光触觉它背后需要有一个感光的芯片
13:02要么用摄像头要么用一些感光芯片
13:06但是你为了达到把整个视场都能看到的
13:10相当于我们微距摄影一样
13:12它总是需要有一定距离的
13:14这个距离就是它最底层的
13:17一个物理的制约因素
13:20要做得小一方面就是
13:21前面我们提到的材料要尽可能地薄
13:24另一方面就得从摄像头上下功夫了
13:26尽可能去降低摄像头的对焦距离
13:29同时还要扩大视场角
13:31来覆盖更多的感应区域
13:33我们通过自研的一些
13:36超表面和芯片的技术
13:37能够去压缩它的视距
13:40不再用一些传统的这种lens（透镜）
13:42这种镜头的方式来做了
13:44在结构上照明层的光路设计
13:47也是一大难点
13:48因为手指的形态不是完全平面的结构
13:51左右两边都有一些弯曲的弧度
13:53这就需要精细设置照明灯珠的排布
13:56保证不同位置照明的一致性
13:59照射的光路这里边是非常有讲究的
14:03所以我们要做大量的仿真
14:04我们叫光追踪
14:07看到每一个光子在传播的路径里边
14:11会怎么去做传播
14:14在设计的时候我们就要把它做到
14:17一方面是覆盖最广
14:18这样我才能在270度都能覆盖到
14:20另外一方面就是说
14:22它精度和轨迹是可预测的
14:24否则的话可能光和光之间就打架
14:26就会产生了串扰
14:27这是一台BSDF测试装置
14:29用于我们不同产品的
14:32表面材料的光学特性的测量
14:35可以将测得的光学特性输入到仿真模拟中
14:38使我们的仿真更加准确
14:40有个小故事
14:41之前如果买一套这种设备好像很贵
14:43我记得大概多少
14:44专业一点的设备要
14:47百万级
14:48百万级
14:48这个是我们胡博士自己搭的
14:51是吗
14:52对他们当时说我们买一台吧
14:55胡博士说我们来自己试试能不能搭一台
14:57而且精度各方面挺好的
14:59你们这个有点SpaceX的味道了
15:03自己搭了一个百万级的设备
15:06另外照明的灯珠
15:07在市场上有两种方案
15:09一种是单色另一种是多色
15:11为什么呢
15:12这就要说到第三点也就是算法
15:15光学式具体是怎么去识别触觉的呢
15:18主要有三种方式
15:20第一种叫做标记点法
15:22在皮肤层上会印很多微小的标记点
15:25摄像头跟踪这些点的位移变化
15:27来计算皮肤层的形变
15:29优点是算法简单、制造容易
15:32但缺点是精度上限很低
15:34Marker（标记点）我能点多少个
15:35一般可能顶多就几十个Marker点
15:38它就是你resolution（分辨率）的上限了
15:41顶多我中间做一些插值但这都不是真值
15:44所以它的问题就在于
15:47相对来说精度低一些
15:48第二种是纹理分析法
15:51皮肤表面不再需要规则的点阵
15:53而是随机喷涂的细小颗粒
15:55或者利用材料本身自带的不规则纹理
15:58受力时摄像头通过追踪光影纹理的流动
16:01来计算形变
16:02它的优点在于硬件制造简单
16:04因为不需要做标记点了
16:06其实大家手里面的光学鼠标
16:08原理就是简化版的纹理分析法
16:11为什么是简化版呢
16:12因为鼠标检测的是二维平面上的变化
16:15而触觉传感器需要检测的是三维
16:18这也是它的缺点所在
16:20算法复杂计算量更大
16:22相对的响应延迟也较高
16:24前面两种算法主要关心的是亮度
16:26还有对比度这些信息
16:28所以用单色照明方案就够了
16:31而第三种光度立体法就必须用多色光了
16:34这种方式不需要任何标记点和纹理
16:37皮肤比较均匀
16:38照明层用红、绿、蓝三种颜色的光
16:41从不同方向打光
16:43发生形变的时候
16:44由于皮肤表面凹凸变化
16:45不同颜色光线打到同一个点的距离不同
16:48相机捕捉到的就不再是均匀的颜色
16:51算法会分析图像中的
16:53每一个像素点的RGB颜色值来计算形变
16:56第三种其实是兼顾了这两者优缺点的
16:59比较好的一个折中方案
17:01制造方面来说也没有那么复杂
17:05但是它在解算的时候
17:07通过预训练的一些模型
17:09就可以快速地去做分析了
17:11所以它算力要求比第一种大比第二种小
17:15精度也是比较优的
17:17而光学式的第四个挑战就在于成本
17:20通过前面的解析
17:21相信大家也能够看出来它的结构有多复杂
17:25相应的成本也更高
17:26单价来讲的话
17:27（单指）还是千元级的这么一个价格
17:30可能会比别的技术路线稍微贵一些
17:33其实我们也看到了
17:35把整个的成本降到小几百
17:38可能性随着它的量上升
17:40而且不光是制造本身
17:42后续的算法、算力要求也更高
17:44视触为什么现在大家比较流行
17:47因为大家发现我可以比较好地
17:49用这种视觉的模型就直接可以处理
17:53但它的问题是什么
17:54这个视觉的模型一般都会比较大
17:56所以它对于算力的要求相对来讲会是更高
18:00当然高成本也对应着高上限
18:02在实验室里面我们也看到了直观的对比
18:05这是一个没有触觉的灵巧手
18:07在没有视觉的辅助下夹起薯片的时候
18:09因为掌握不好力度很容易就夹飞了
18:12而这是带有视触觉的夹爪
18:14不仅可以轻轻夹起薯片
18:16当我想从它手中抽离时
18:18它还会感知到轻微的晃动和摩擦
18:21慢慢卸力
18:23还有更好玩的就是夹树叶
18:25相比起薯片树叶缺少了刚性
18:28稍微多一点力就会发生形变
18:30但我们看到夹爪依然能精准感知到
18:33树叶发生微小的形变之后
18:35因弹性而对两边释放的微小力
18:39不过业内人士认为
18:41现阶段更应该优先考虑的不是成本
18:44而是验证路径的可行性
18:46所以接下来
18:47我们先来说说应用路上的第一道障碍
18:50也就是数据采集
18:55机器人最稀缺的就是训练数据了
18:57而到了触觉领域已经不仅仅是“少”了
19:01现在触觉的数据基本为0
19:05就可用的数据基本为0
19:06高保真的这种传感器其实之前是缺失的
19:10然后我们通过传统的一些方法
19:13采集来的数据跟人不太接近
19:16且没有那么高保真的能力
19:18你看对于“触觉”这种强调实感的维度
19:22普通的视频还有文字等互联网数据
19:25是无法反映出“力”的大小和方向的
19:27所以这个领域尤其强调真机数据
19:31但是真机数据在获取上存在着三大难点
19:34我们再来做个简单的小实验哈
19:37我们戴上这个很厚的手套然后试图拿起一块豆腐
19:40真的很难掌控力度
19:43要么就是它会滑下去
19:44要么我可能稍微一用力它就破了
19:47最主要的原因就是厚重的手套完全屏蔽了我们的触觉
19:51我们无法判断豆腐和手指之间的摩擦力是否够
19:55是否快掉下去了
19:56以及豆腐的形变程度是不是快破了
19:59也是触觉数据采集时要面临的最大悖论
20:04采集人的触觉也就意味着
20:06我们会需要在人手和物体之间做一个隔离
20:10那也就是说在某种程度上
20:11我们屏蔽了人自己的触觉
20:13如果人手被传感器覆盖
20:16导致人本身的触觉没有办法被有效利用
20:20导致人本身的触觉没有办法被有效利用
20:21那么操作者的手变笨了
20:23那我的这个demonstration（示范）
20:25其实质量会下降
20:27那我这个数据其实训练出来的结果
20:30就没有办法让机器人能
20:33具有像人一样的灵巧的能力
20:35这是一目的数采设备
20:37把整个传感器放在了手指前面
20:39操作起来就像用筷子一样
20:41我认为它确实跟真实世界有gap（差距）
20:44通过一些算法能把它回退回来
20:47可以去做一些gap的弥补
20:49但是我不可否认它跟人是不一样的
20:52所以最大的问题就是
20:53要采集触觉就得先屏蔽触觉
20:56但是屏蔽触觉之后又难以采集触觉
20:59这个好绕口
21:01而且采集设备本身也比较复杂
21:03一定程度上也会影响采集员的操作
21:06其实大多数数采设备都非常的笨重
21:09就是它尺寸大穿戴比较麻烦
21:11都会在某种程度上影响操作员
21:13采集数据本身的一些行为
21:15要解决这个问题
21:16一方面需要行业做出更薄的传感器
21:19尽可能减少对采集员触觉的屏蔽
21:22我们下一代的触觉传感器
21:23是超薄型的 3毫米
21:25你不需要戴一个非常复杂的手套
21:27只在某些关键的地方贴一些触觉点
21:29另一方面行业需要设计出
21:31更舒适、更符合人体工学的采集设备
21:34而这需要多学科领域交叉
21:37（人体工学设计）这个其实是
21:38和设计一个触觉传感器和灵巧手
21:41是完全不相干的东西
21:42这个是我觉得接下来一年
21:44非常重要的一个课题
21:46行业里也有一些
21:47对采集员影响较小的织物采集手套
21:50但是这就牵扯到第二个问题了
21:53数据密度不够
21:54最好的织物的触觉手套我们看到的
21:56也就500个点一个手
21:58我如果想把这个数据应用在
22:01比如说我们的传感器上
22:02那其实这个gap（差距）还是挺大的
22:03那其实这个gap（差距）还是挺大的
22:05也就是说如果我戴着这个手套
22:06去抓一个M2的螺钉
22:09其实在这个上面就是一个点
22:11我是没有办法去检测到这个螺丝的方向
22:14或者它的大小的
22:16即使模型再强也没有办法有效地
22:19让它去学习到这样的一些信息
22:22于弢团队和MIT去年合作了一个项目
22:25用这类手套采集触觉数据
22:27结果发现大部分有效数据都是
22:29用整个手掌抓取一个较大的东西
22:32因为这种任务对密度的要求最低
22:34一旦涉及到精细操作数据就失效了
22:38行业面临的第三个问题是
22:39由于触觉还是非常早期的行业
22:41各家公司的数据采集格式不统一
22:44难以形成大规模的训练集
22:46比如有的采集设备是两指的
22:49就只适合在工业场景的机器夹爪上
22:51不适用于灵巧手的训练
22:53在数据的存储和对齐方面
22:56我觉得现在还做得不够好
22:58它们之间的一致性好不好
23:02触觉和其他模态的对齐好不好
23:04比如说我同时采了触觉、视觉、本体信息
23:08这些模态是不是能从时间轴
23:11到它数据本身的对齐能力做得更好
23:15就这块其实也是缺失的或者做得不够好
23:17硬件其实现在是相对不成熟的
23:21不同的技术也好
23:22不同的传感方式、数采设备
23:26各自的数据格式、各自的数据形态
23:31其实都不一样
23:33算法就没有办法去演进
23:34因为数据的量上不去
23:36设备不够成熟就采不到高质量数据
23:39然后训练不出好模型
23:40然后就没人愿意投资这个领域
23:43这会是一个不断的恶性循环
23:46既然真机采集这么难
23:48那如何才能够规模化呢
23:51这就得用到仿真合成了
23:53仿真是在虚拟的环境中模拟真实场景
23:56可以同时、批量采集不同的数据
23:59到了这一步
24:00就不得不说到
24:01大家比较熟悉的公司英伟达了
24:04这条是老黄重点押注的路线
24:06他们为此也搭建了
24:07非常完善的框架Isaac Lab
24:10实际训练的时候
24:11触觉公司会利用各种公有的模型
24:13并对不同的模型加入一些真实的物理特性
24:16比如一个螺母
24:18它就是刚性的、比较重、表面光滑
24:20或者是一个毛线球
24:22它有多软、多重、表面粗糙程度如何等等
24:26同时还要在系统里输入触觉传感器的特征
24:29比如说表面的弹性体的物理特征
24:31手指内的光源分布等等
24:33而有了这些数据之后
24:34就可以在系统内模拟触觉传感器
24:37接触到不同物体时
24:38表面的形变程度、光路变化
24:40推算出最终采集到的数据
24:43仿真的结果还会和现实表现做对比
24:46通过数据标定来进一步修正
24:48这边图上面就是展示的
24:50我们在某一个确定的条件下
24:53实际上的图像采集
24:55后面蓝色的点就是仿真的形变
24:58红色的点就是标定的
25:01我们暂时的这部分修正是在解算层面
25:04最后做一个映射的矩阵去修正输出
25:07后续会在模型输入的层面去做修正
25:10另外在今年五月
25:11有一篇名为Tabero的论文
25:13还提出了一种方法
25:14那就是复用已有机器人数据
25:16把这些轨迹重新放入Isaac Lab当中
25:19并且加入触觉传感器模拟
25:21最终生成完整的“视觉-触觉-语言-动作”数据
25:26这其中最大的难点就是计算量太大了
25:29如果说要精细地进行
25:31弹性体变形的计算的话
25:33如果说我们用一些有限元的方法
25:35来进行精细的计算的话
25:37可能一帧就需要一个小时的时间
25:40这对于需要快速实时地获取数据而言
25:44是不能接受的
25:46所以学术界提出了很多简化的计算方式
25:49比如说英伟达在2025年
25:50就发布了TacSL论文
25:52就介绍了一种用于视触觉的仿真方式
25:55它的核心思路是
25:56用软接触模型代替有限元计算
25:59什么叫做软接触呢
26:01比如说我们把物体和皮肤都当作刚体处理
26:04但它们之间可以“互相穿透”
26:07接触的力越大穿透得越多
26:09这样算出来的形变虽然不是最精确的
26:12但也能大致模拟
26:13而且在计算速度上更快
26:15但不可否认
26:16仿真和现实之间永远都会有差距
26:19Eric就告诉我们
26:20他们仿真的准确率大概是在90%以上
26:24而其中10%的差距
26:26主要在于柔性物体的模拟
26:28这也是目前的挑战所在
26:30（针对柔性物体）我们也可以
26:31去补充一些后训练数据
26:33比如说我们已经有一个80分的模型了
26:35我再加一点点后训练
26:36很快就可以到90分以上
26:38这个思路和TacSL论文的策略是一致的
26:42TacSL在训练策略的时候做了两件事
26:44一是随机化物理参数
26:46让策略适应不同的刚度、阻尼
26:49二是在触觉图像上做大量的数据增强
26:52让策略对摄像头差异、光照变化鲁棒
26:55这样他们在真机上实现了零样本迁移
26:57在插拔销钉的任务上
26:59TacSL在真机上达到了82.7%的成功率
27:03所以仿真的意义
27:04更多是作为真机数据的补充
27:06两者需要搭配训练
27:09我到底真实的（数据）多一点
27:10和仿真的多一点
27:11每家可能不太一样
27:13我们的判断可能至少1比1
27:15甚至1比1以上
27:16仿真可能会占多数在短期之内
27:19到底需要多少数据
27:21才能够训练出较好的模型
27:23在这点上业内人士给出的答案
27:25比我们想象的更乐观一些
27:27什么时候我们能够收（集）到100万小时
27:30等同于一个人一生的物理经验的数据
27:32我觉得可能我们才开始后面的探索
27:35这是我们采访做具身模型的人时
27:37Physical Intelligence的嘉宾Kay
27:39她给我们的答案
27:40但到了触觉领域数据量却只要十分之一
27:43训练一个带有触觉的基础模型
27:47所需要的数据
27:48应该是要远低于基于视觉的基础模型
27:51当你有10万小时的数据往上走
27:54你会发现它逐渐就开始有一定的泛化能力
27:57这背后的原因其实不难理解
27:59因为机器人的行为模型
28:01其实包含了大量操作的“过程”信息
28:04比如说转身、伸手、移动等等
28:06并不是说这些信息不重要
28:08但真正对训练有效的部分
28:10往往是那些“拿起”、“放下”等关键的操作
28:13而对于触觉数据来说
28:15平时在没有操作时输入的信息基本为零
28:18相当于这10万小时
28:20已经减掉了无效操作的部分
28:24说完数据采集
28:25我们再来聊聊触觉的第二个障碍
28:28算法模型的应用
28:29有意思的是
28:30如果你直接把触觉信号
28:32输入到行为模型当中
28:34机器人任务的成功率反而会下降
28:37这是为什么呢
28:41今年6月伯克利、英伟达、斯坦福
28:43集结了李飞飞、Jim Fan等众多知名学者
28:46联合发布了一篇名为T-Rex的论文
28:49其中一项实验结果表明
28:50如果把触觉信号
28:51直接输入到π0.5的模型当中
28:54各项任务的成功率反而下降了
28:57这反映出一个问题
28:59加了一个模态不等于模型表现就能够变好
29:03所以如何利用触觉信号
29:04目前是最大的挑战之一
29:06我觉得最大挑战其实是
29:08大家对于触觉这个模态还是比较陌生
29:11以及它真的怎么融入到我们模型训练里边
29:14其实大家还没有一个
29:16完整跑通cycle（闭环）的
29:17这么一个好的SOTA（最先进的）模型出来
29:19我们先简单来说说
29:21此前触觉应用的三大挑战
29:24第一个问题是触觉没法用规则定义
29:27一个东西到底是软还是硬、是脆还是弹
29:30超过多大的力会破坏物品
29:33物品能不能被破坏
29:34我们没法单纯地设置一个数值
29:36写一个规则
29:38这样在执行任务的时候模型会难以判断
29:40比如拿起纸杯这件事
29:42力气小一点能够拿起来
29:44稍微再夹紧点杯子有点形变
29:46也可以接受
29:47但是到了鸡蛋上就绝不能让蛋壳有形变
29:51第二个问题是触觉信号维度太多
29:53直接输入到模型当中反而成为了噪声
29:56我们前面说过
29:57触觉包含了纵向的压力
29:58横向剪切力和摩擦力
30:00还有表面材质感知的温度
30:02振动、音频等等数据
30:04这些数据不加处理地输入到大脑中
30:07模型将难以分解
30:09第三个问题是
30:10触觉和其他模态的频率不匹配
30:12触觉信号天然是高频的
30:14而视觉语言模型通常运行在低频率
30:17这就意味着两者难以直接结合
30:20会出现计算资源浪费、反应速度慢
30:22触觉噪声干扰高层规划等问题
30:26到了今年由于AI的进步
30:28业界是看到触觉应用的范式
30:30之所以触觉最近两年开始火
30:33并不是因为触觉这个技术本身
30:35这两年才存在
30:36而是在很久以来
30:37大家并不知道怎么样去用触觉
30:39其实像最近这些AI算法的演化
30:42和这种端到端模型的实现
30:44其实对于触觉的利用是非常大的促进
30:47我们知道端到端
30:49就是直接把信号输入给神经网络
30:51让模型自己学习不需要人为定义规则
30:54这就解决了第一个挑战
30:56第二个挑战的解决思路
30:58就是利用编码器（Encoder）
31:00前置处理触觉信号
31:02将这些数据打包后输出完整的语义理解
31:06就是用这种
31:07Self-supervised learning（自监督学习）的方式
31:09去train Encoder（训练编码器）
31:10我们可以很容易地
31:12把不同类型的触觉模态
31:14甚至视觉结合在一起
31:17然后利用现有的一些
31:19比较常见的这种
31:20Attention的mechanism（注意力机制）
31:21就可以比较好地去抓取
31:23不同模态的触觉之间的这种相互的关系
31:27然后从模型训练的角度
31:29这个能够比较有效地把这样的一个信息
31:32集成到更大的一个
31:33Backbone（主干网络）里面
31:34我们叫
31:35Tactile Transformer encoder（触觉Transformer编码器）
31:36然后通过编码器对它进行一个语义理解
31:39比如说到底是软的、硬的
31:41有没有摩擦
31:43包括形态上来说像什么
31:45等等这些语义理解
31:46它做完这个编码之后
31:48再进到这个backbone（主干网络）
31:50大模型里面去做一个判断
31:53再来说说如何解决频率不匹配的问题
31:56在T-Rex论文当中就提到了MoT的方式
31:59这篇论文提出的“MoT”架构
32:01借鉴了MoE的思想
32:03由不同专家处理不同类型的信息
32:06为此构建三个不同的专家
32:08Latent Expert 潜在专家
32:10负责处理视觉和语言观察
32:13预测未来的视觉表征
32:14提供“上下文理解”
32:15这是慢速的、认知层面的
32:18Action Expert 动作专家
32:20负责根据视觉语言上下文生成动作序列
32:23比如说往哪里走、手臂大概怎么摆等等
32:26但是它输出的只是粗略的动作
32:29而最具创新的是第三个专家
32:31叫Tactile Expert 触觉专家
32:34它就像机器人的反射系统
32:35在动作执行过程当中
32:37通过实时触觉反馈
32:39对力度、角度和接触状态进行快速修正
32:42听上去好像也不算啥创新
32:44毕竟MoE架构早就有了
32:46只是额外设置了一个触觉专家而已
32:49别着急这套系统最重要的思想
32:52在于“异步执行” 什么意思呢
32:55在推理时动作专家生成动作规划
32:58同时触觉专家以更高的频率独立运行
33:01不断对动作进行修正
33:03这样机器人在利用触觉的时候
33:05可以复用已经算好的上下文缓存
33:07只进行快速的触觉推理
33:09这样既保留了大模型的理解能力
33:12又获得了类似人类触觉反射的
33:14快速响应能力
33:16这也类似我们之前聊
33:17基础模型的双系统架构
33:19它的System 2负责慢思考、长程规划
33:23而System 1负责快反应、本能动作
33:26触觉也不例外
33:28所以我们就觉得它应该是两个不同的系统
33:31以及它可以去打通
33:32就比如说在触觉在边缘端
33:35我其实应该有一个快速响应机制
33:37比如碰到了我们就应该做什么动作
33:39同时我觉得触觉信息也应该能回到大脑去
33:42对我一个相对长程的这个过程里边
33:44做一定决策的影响
33:46但是它就偏reasoning（推理）
33:48我们在采访过程当中
33:50也发现了业界的一点分歧
33:51那就是触觉模型是单独训练
33:54还是要结合摄像头、激光雷达等
33:56其他传感器来一起训练呢
33:58Eric就认为触觉模型可以单独训练
34:01这样才能够更好地去平衡权重
34:04就像T-Rex这篇论文的思路
34:06我们会更倾向于触觉模态的单独训练
34:10因为触觉模态它本身的语义理解
34:12就可以完成一定的闭环了
34:15当它的语义理解结束之后
34:17再和其他的模态进行融合
34:19让大脑去判断会更好一点
34:21因为它每一个模块
34:23可以去单独地做训练、测试、闭环
34:27然后同时这些模块可以像即插即用一样
34:30去插到不同的系统里面去做应用
34:33它还能跟其他模态更好对齐
34:36不然的话你这个眉毛胡子一把抓
34:38都混在一起
34:39到底模态之间的数据怎么去平衡
34:42其实是个挺难的问题
34:44而来自北美的于弢就认为
34:46两者必须要同时进行
34:48这样才能够判断
34:49每个“力”在空间中的分布
34:51让模型更好地理解
34:53“我是拿了什么东西才会有这样的感知”
34:56视觉它是一个全局的
34:58而触觉它真的是一个非常局部的事情
35:00我的手的形态动的时候
35:02同一个传感器
35:03对应的在空间上的分布是不一样的
35:06当大家做视觉和触觉的模态融合的时候
35:10其实并不是一个简单的
35:12Latent space representation（表征空间）
35:13你在同一个embodiment（载体）
35:14做同样一件事情的时候是可以的
35:17但一旦这样做完之后
35:18你的transfer（迁移）非常难
35:20比如像哥大李昀烛（Yunzhu Li）老师
35:22是把这种触觉的力的分布是
35:26结合到这种三维点云上的
35:28那么也就是说这个力并不只是一个力
35:31而是它在这个空间中力的一个分布
35:35那么在这种情况下
35:36其实是需要触觉和视觉的结合的
35:39于弢的思路也对应着
35:41我们前面提到的Tabero这篇论文
35:43他认为触觉应该参与到高层决策中
35:46理解“轻一点”和“重一点”的语义
35:48简单来说Tabero主打前置的“语义力控”
35:52而T-Rex是执行过程的“高频修正”
35:55由于触觉这个行业
35:56目前处于非常早期的阶段
35:58多条路线在同时探索
36:00没有绝对的优劣之分
36:02我们也只是向大家来展示不同的路径
36:04最后我们来说说触觉的第三个障碍
36:07就是规模化
36:12量产的最大的难题就在于性能的一致性
36:15上周在ICRA 2026 在维也纳
36:19我们看到非常多的触觉传感的公司
36:22我们亲手去测了一下这个事
36:25它是否一致
36:27其实大多数是做不到的
36:28因为手指的调整动作都是非常微小的
36:31在做精密操作的时候
36:33输出的力稍微有点偏差
36:34就可能导致任务失败
36:36但触觉传感器又太精密了
36:38但凡表面的弹性体厚度相差太大
36:41弹性系数不一致、传感器间距不同
36:43都会导致参数偏差
36:45算法就难以计算出正确的数值
36:48接下来我们就去一目科技的试产车间
36:51看看他们是如何验证新工艺的
36:56我们现在穿上了无尘服
36:58接下来会去到他们的试产车间
37:03大家先摸一下这个防静电球
37:05去除身上的静电
37:07第一步是先把凝胶材料放到模具内固化
37:11作为手指的表面弹性体
37:12这一步得注意
37:13不能有任何的灰尘和气泡
37:15这是一个超净工作台
37:17它可以提供一个局部100级的超洁净空间
37:21有利于我们的凝胶制备
37:23制备完成之后还得先检验是否合格
37:27这边会做一些拍摄
37:29如果发现里面有气泡、杂质的情况
37:32我们是可以通过视觉来筛选的
37:34并且我们所有的数据会经过上位机的判断
37:38再筛选一次
37:39最后就是将其他地方制备的零部件
37:41集中到一条产线上进行组装
37:44大家刚才看到的材料
37:46会在这里进行分步组装
37:48从第一个粘接工位
37:51到这边的预总装工位
37:51到这边的预总装工位
37:53包括壳体、灯带、相机、芯片等
37:58各个零部件的精密组装
38:00然后我们会到总装前的预检测工位
38:04我们的触觉传感器会在这里
38:07进行一个成像的检测
38:09可以拉近看一下我们电脑里显示的画面
38:11可以拉近看一下我们电脑里显示的画面
38:12它展示了我们触觉传感器的一些精密动态
38:17它是力学的反馈
38:20里面有很多的AI算法在里面
38:23经过检验的成品最后就变成了我们的成品
38:25经过检验的成品最后就变成了我们的成品
38:26当然每个批次的试产样品
38:28还得经过自动化测试
38:30用来验证工艺参数的稳定性
38:34相信大家都能看出来
38:36在试产阶段很多步骤依然依赖于手工操作
38:39因为触觉传感器是一个比较新的品类
38:42现成的标准化、自动化设备
38:44暂时还没有统一
38:46这个（触觉的）量产
38:46它不是脱离了你的上下游自己去生产
38:50你的上下游比如说是数采
38:53或者是灵巧手
38:55其实它有不同的协议、有不同的接口
39:00有不同的关于它手的适配
39:03所以来讲你的量产还是要跟着它的需求
39:08有一些定制化的操作
39:10一方面是自动化量产线稳定交付标准品
39:14另一方面是试产线
39:15承接定制化需求和新工艺验证
39:18那么这两条线协同运转
39:20正是这个行业走向成熟的标志
39:23而到了2026年这个时间点
39:25我们采访的几乎所有嘉宾都表示
39:27触觉已经是处于爆发的前夜了
39:30今年我们确实是看到了说
39:32整个需求有一个大幅度的上涨
39:36大家慢慢认识到了
39:39触觉的数据其实对于物理AI
39:42最后训出更好的模型来讲
39:45是非常重要的
39:46今年来讲的话
39:48灵巧手、上下游
39:50包括具身的整机
39:51大家都在去拼命地做、拼命地出货
39:54自然也会带动整个触觉传感更加成熟
39:58在今年的WAIC展会上
40:00我们也在一目科技的展台
40:02看到了某大型汽车电池装配工厂
40:05将他们的触觉传感器搭载到了机械臂上
40:08实现了工业级的应用
40:10不同的电池包
40:11这样的一些形态、它的一些变化
40:14如果我们依赖传统的自动化
40:16纯去做每次的预编程和大量的开发
40:19是没有办法去做
40:21适应这种产线的频繁调度和变化的
40:24这样的一个过程
40:25所以基于这个触觉
40:27就得到了一些柔性装配的能力
40:30而未来还将应用到实验室里
40:32做更多精密操作的项目
40:34比如说像滴管去做精准的取液
40:37我恰好要把它控制到
40:39毫克级的这样一个精准程度
40:42有了触觉的一个精准反馈
40:44我可以精准地去控制
40:45对于滴管施加的一个力
40:47形变这样的一些变化
40:48根据美国银行的预测到2030年
40:51人形机器人的出货量将达到120万台
40:54假设都装配了触觉传感器
40:56每个机器人10根手指
40:57那么触觉的市场需求将提升到千万级别
41:01如果那个时候是量产
41:02我们倒推一年或者一年半到两年
41:05这么一个研发的周期
41:06或者测试的周期
41:08也就是说下一年（要开始上量）
41:10（触觉的）下一个里程碑节点
41:11会在什么时候发生
41:14我觉得就是今年或者明年年初
41:16应该就这个时间段
41:22在我们采访的时候Eric就提到
41:24触觉是让机器人类人
41:27甚至超越人的“最后一块拼图”
41:30因为这不仅是多了一个维度的数据
41:32更是让机器人掌握到了“人类的第一语言”
41:35人类的婴幼儿他刚出生之后
41:38他第一个会的其实并不是看和听
41:42小朋友都是靠触觉
41:44我摸这个世界
41:45甚至可能用舔、用舌头
41:47这个其实是我们人类
41:49对于这个世界的第一语言
41:51Adelson也提到
41:52启发GelSight的灵感是源于观察小孩时
41:55发现触摸对他们更有吸引力
41:58是啊如果我们想想
41:59我们的小孩刚出生的时候
42:01他不会说话、不会走路
42:03连看都看不太清楚
42:04想感知世界就只能够伸手
42:06去摸妈妈的脸、摸床单的材质
42:09摸脚趾头的形状等等
42:11而今天我们正在教机器人做同样的事情
42:14让它摸花生、摸树叶、摸鸡蛋
42:17每摸一次对物理世界的理解就多一点
42:20或许很多年之后
42:22机器人走进我们的生活
42:24那个时候我们回望
42:25可能会发现转折点就在触觉普及时
42:29因为那一刻
42:30机器人才开始真正地理解了世界
42:33好了这就是这期视频的全部内容
42:35非常感谢大家看到这里
42:36你们的留言、点赞还有转发
42:37是支持我们《硅谷101》
42:39做好深度科技和商业内容的最佳动力
42:41我是陈茜那我们就下期再见啦拜

About this transcript

This page contains the full transcript of 机器人触觉的爆发前夜：五大技术路线、数据困局与模型之争｜机器人系列 by 硅谷101, generated from the public captions YouTube serves with the video. The transcript has 1,212 words across 1,100 segments, with the original timestamps preserved so you can click any line to jump to that moment in the embedded player.

What you can do with it

Use the transcript to take notes, quote the speaker, build a study guide, generate a summary with ChatGPT or Claude via the YouTube Summary tool, or export it as a timed subtitle file with YouTube to SRT. You can also re-open it in the transcriber to translate the transcript into 100+ languages.

Free YouTube transcript tool

YouTube2Text is a free YouTube transcript generator — no signup, no daily limit. Paste any YouTube link and get the full transcript instantly, with timestamps, click-to-jump, translation to 100+ languages, AI prompts for ChatGPT, Claude, and Gemini, and exports to TXT, SRT, VTT, or Markdown.