本文利用TIR（全内反射）来可视化触觉特征。弹性体的折射率（n2）大于空气的折射率（n1）。当光满足TIR条件时，它完全在弹性体内部传播。一些没有完全内反射的光可能会从传感器上盖（绿色箭头）和弹性体（橙色箭头）溢出来照亮物体。当接触打破TIR规则时，相机捕捉亮度变化以获取接触信息（黑色箭头）。因此，在外部视觉模式下，传感器可以观察环境。在内视觉模式下，传感器可以同时捕捉视觉和触觉信息。

图2 右图：TIRgel传感器，左图：传感原理

▍传感器设计

不同于之前的传感器，本工作在弹性体透明度、成像功能和光照上提出了更高的要求。

1）高透性。半透明或者透明的弹性体可以在内部视觉下捕捉触觉细节。但在外部视觉下，透性不足放大了成像缺陷。本工作需要制备性能接近光学透镜的弹性体。

2）内外视觉转换。传感器尺寸限定了成像距离，但内外视觉转换下，成像距离处于动态变化。固定焦距相机不能满足外部视觉观察，因此需要调焦技术实现近距和远距成像。

3）触觉表征。没有镀层，触觉表征是最大难题。本工作需要规划光学传播路径，提供光度的变化来对应接触状态。

针对以上需求，首先对传感系统配置进行如下阐述。它由触觉子系统、成像子系统和机械子系统组成。机械子系统包括传感器外壳、相机底座、弹性体底座和传感器盖。外壳底端和相机底座采用旋转卡扣，方便拆卸和组装。触觉子系统包含弹性体和亚克力透镜。弹性体采用高透硅胶材料。成像子系统采用RER-USB500W04AF-V60相机，尺寸为30mm×25mm×14mm。该相机附带调焦、自动曝光控制和平衡功能。

▍仿真与触觉识别

触觉传感器的接触面是一个弹性面。它的形变打破了内部全内反射的规则。本工作需要关注其形变状态并和光学模型结合，来解释光度信息对于触觉变化的表征。有限元方法将弹性面网格化来可视化其形变状态，但变形会导致网格不规则甚至单元体积为负等问题。因此，采用材料点法（MPM）来构建弹性体的物理模型。该方法利用颗粒来表示物体，用虚拟的网格进行接触模拟。模拟过程追踪粒子之间或者粒子与网格节点之间的交互信息。该方法应用弹性理论约束接触双方的相互作用。每个粒子都包含质量、速度和变形信息。在每个形变时间步中，粒子按照信息交换后的速度运动来更新状态。

恒定的内部光照下，接触边缘形成光亮痕迹。通过调整相机的进光量，背景的亮度接近暗黑，可以增强光度的对比度。本工作需要采集一张参考图像。在追踪到光度梯度变化后，接触图像与参考图像在三个通道上差值计算，得到差值图像并转换成单通道灰度图。通过设定一个阈值，过滤非接触的信息。为了建立触觉信息与接触类别的映射，利用深度学习将触觉信息转化成语义信息。TIRgel采集的触觉图像和镀层式的视触觉传感器有本质区别。镀层提供的触觉信息过滤了物体背景特征。TIRgel图像相当于是一个融合触觉和视觉信息的非拼接图像。

▍结果

仿真采用了不同压头作为接触对象。实际中，本工作参照这些模型3D打印并采集到触觉图像。几何边缘的光亮高于周边区域，视觉上形成光度边界（接触轮廓或者纹理）。这是因为几何特征改变了内部光线反射的路径，发散的光线产生亮度差异。仿真触觉图像和实际触觉图像的成像效果一致，说明了全内反射可以为无镀层视触觉传感器提供触觉表征。

图 3 触觉仿真平台和仿真结果

本工作选择不同形状尺度以及纹理细节的接触物来采集接触图像。六种不同几何特征包括了点接触、线接触和面接触。除此之外，接触细节包含不规则形状和规则形状，纹理由稀疏分布到密集分布。结果证明，光度对于触觉变化是灵敏的。例如织物，传感器可以映射大尺度纹理也可以捕捉细微的织物组织。在微米级触觉呈现上，细微到纸币的底纹也可以全面地捕捉到。

图 4 触觉成像的空间分辨率

关闭内部照明，相机依靠调焦可以捕捉远距（外部视觉）和近距图像（内部视觉），而近景图像包含了接触物体的宏观信息而不是触觉信息。失去环境光后，相机的远景成像失效，近景成像因内外光照不足而虚化。这种状况既没有视觉信息也没有触觉信息。打开内部照明后，无论外界光亮还是黑暗，内部视觉可以采集外观信息和捕捉到光度信息。二者区别在于，黑暗环境下，相机不用改变亮度也能获取深色背景。但是，外部视觉会因为环境光照改变有效的成像距离。相比于单向透视镀层，TIRgel在任意光照环境下，都可以提供视触觉信息。

本工作节准备了一款镀层型视触觉传感器。用两种传感器采集了14种布料的触觉或视觉。其中有5种布料的纹理相近，但样式不同。镀层型传感器对于相似的纹理特征会出现误判，通过视触觉融合可以减少误差。TIRgel触觉图像包含了视觉和触觉特征，是一种天然的融合图像。从识别结果来看，它能取得和镀层视触觉传感器的触觉-视觉融合识别一致的效果。这说明该传感机制具有视觉和触觉成像的双重属性。

▍结论

TIRgel在不使用镀层的情况下利用透镜式弹性体的全内反射提供触觉可视化。此外，它能取得和镀层视触觉传感器的触觉-视觉融合识别一致的效果。这是一个重要结果，显示了视觉系统的一体化。它可以独立参与视觉追踪到触觉反馈。相比与镀层式视触觉传感器，TIRgel通过内外视觉集成和基于光度的触觉表征，简化了特征捕捉（不使用外置相机）和数据融合，同时降低了信息处理难度。