Time of Flight「ToF」技术简介「刘延」

动作捕捉 2022-10-09 14980

6月26日,在2018世界移动通信大会上海站上,vivo推出了TOF(Time of Flight)3D超感应技术。 TOF 3D超感应技术可感应30万个有效深度信息点,是3D结构光技术的10倍,工作距离可达3米,是结构光技术的3倍,TOF模组的baseline(基线)近乎为零,比结构光技术的25mm有大幅提升。

官方介绍,这项技术利用传感器测量目标物距离和轮廓,实现手机对高精度3D信息的采集和运算,具有有效深度信息高、工作距离远、结构布局灵活、应用场景丰富等亮点。 TOF 3D超感应技术已成功支持微信人脸识别支付,预计在2018年下半年投入商用。届时vivo将是国内首家支持微信人脸识别支付的手机厂商,同时也是国内首家支持微信屏幕指纹支付的手机厂商。

其实Soomal测评很多搭载ToF传感器的设备[华为、LG、HTC有多款手机型号使用了ToF技术],只是过去ToF主要用途是拍摄时画面和对焦,终端厂商极少强调和宣传。今天我们就聊聊ToF技术的工作方式以及消费电子设备中的应用。

什么是ToF

ToF是Time of Flight的缩写,有的翻译称之为飞行时间。这种成像技术通过向目标发射连续的特定波长的红外光线脉冲,通过特定传感器接收待测物体传回的光信号,计算光线往返的飞行时间或相位差得到待测物体的3D深度信息。TOF相机的亮度图像和深度信息可以通过模型连接起来,迅速精准地完成人脸匹配和检测 。

Time of Flight「ToF」技术简介「刘延」  第1张

ToF工作流程图 - 来自Texas Instruments

TF的硬件组成有:

发光单元:发光单元通常为能发出特定波长红外线的VSCEL,VSCEL能以相对较小功率发射出较高的信号。

光学镜头及滤光片:用于收集反射回的光线。滤光片只允许对应波长的红外线通过,抑制其他光线,并降低噪声。

图像传感器:ToF相机的核心部件,接收反射回来的光线,负责测量每个像素点光线从发光元件到目标物体再反射回传感器的时间。

ToF的优势

Time of Flight「ToF」技术简介「刘延」  第2张

红外摄像头下FaceID的红外光投射效果

ToF和iPhone X所使用的结构光技术有何区别,又有什么优势?iPhone X的结构光是首先利用激光器将镜片上的点阵或固定图案投射在人脸上,然后拍摄红外图像,通过点阵或图像的形变,计算出深度信息,进而识别3D脸部信息。

Time of Flight「ToF」技术简介「刘延」  第3张

通过ToF获得的物体景深信息图 - 来自互联网

而ToF是通过特殊的传感器,通过计算发射出去的红外线激光来回的时间得到被摄物体深度信息,进而识别3D信息。

Time of Flight「ToF」技术简介「刘延」  第4张

不同的3D成像技术特点 - 来自互联网

相较于结构光技术,ToF的设计更灵活,可通过改变光源强度能实现不同范围的3D成像;而通过调整发射器脉冲频率,就可以调整相应的信噪比以适应不同的精度要求或应用环境。ToF的激光发射器也相对简单,只需发射出特定波长的高频脉冲激光即可。而结构光必须通过特殊的光学镜片,投射出相应图案,通过计算才能得到深度信息。

Time of Flight「ToF」技术简介「刘延」  第5张

vivo ToF技术的信息量优势 - 来自互联网

ToF如何让深度信息量达到结构光的10倍? 在去年十二月,索尼推出了一款背照式ToF测距传感器 ,厂商称该传感器较前代产品测距性能进一步提高,同时体积减小,仅为1/2英寸,并拥有VGA分辨率,索尼将从2018年4月开始出货样品。索尼将采用了测距技术的测距传感器统称为DepthSense系列,此次是首次将背照式ToF技术应用于DepthSense系列产品。 VGA分辨率为640*480,差不多就是30万像素。而此前市场也有过传言称vivo有望于今年推出后置ToF方案的手机,模组厂为信利,ToF Sensor为松下,驱动芯片及算法由ADI提供。后续索尼将于今年8月份推出全新的ToF Sensor,预计会成为未来的主流方案。 因此,vivo有较大概率采用的是索尼新出来的ToF传感器,配合更高效率的激光发射器,实现比现有手机结构光精度更高、工作距离更远的3D感知方案。

ToF在消费电子上的应用

测距:ToF在测距上的应用主要包括辅助对焦、前置距离传感器和避障。

Time of Flight「ToF」技术简介「刘延」  第6张

LG G3[D858 Titan] 智能手机的激光对焦灯

激光对焦:手机中第一批ToF相机的应用,是“激光对焦”,具体机型包括:华为P9,V8,联想 moto g4+, HTC M10, 还有LG的非常多款手机。激光对焦利用了ToF传感器的测距能力,例如LG的G3手机就采用了激光对焦。在摄像头旁边有个暗红色的半透明发射窗口,当对焦时,里面会发射出测距激光。原理非常简单,通过测距激光,快速的定位焦点。

ToF传感器成本算不上高,未得到普及主要问题在于发射功率偏低,导致对焦范围受限。大部分激光对焦均采用了来自意法半导体的两款ToF传感器,通过查阅技术文档可知,这两款传感器的有效范围均在2米以内。超过这个范围,将回归到传统的反差对焦或相位对焦模式。随着传感器技术的进步,后置摄像头激光对焦也逐渐消失在我们的视线中。

Time of Flight「ToF」技术简介「刘延」  第7张

多款手机使用的ToF方案 - 来自互联网

距离传感器

Time of Flight「ToF」技术简介「刘延」  第8张

iPhone上使用的ToF组件电路图 - 来自chipworks

财大气粗的苹果就不一样了。根据Chipworks、上海微技术工研院等多个渠道的的拆解和分析,苹果从iPhone 7系列开始,前置距离传感器采用了一块类意法半导体的ToF传感器。苹果使用这款距离传感器,用来测量打电话时人脸距离的远近,进而选择开关屏幕。此外,Chipworks还猜测,这款传感器也可能用作前置摄像头的辅助对焦对焦。

无人机、无人驾驶避障

Time of Flight「ToF」技术简介「刘延」  第9张

大疆dji Spark晓 无人机-两轴机械增稳云台+1200万像素摄像头/1080p视频

在Spark上,大疆使用了ToF摄像头用作避障与手势信息识别。上图中,摄像头上方区域就是ToF摄像机。 通过小型深度相机不断采集三维空间里的手势视觉信息。采集到的这些手势图像传输给飞行器 CPU 进行运算分析,完成后给飞行器发送特定的指令。

3D动作捕捉与识别

Kinect 2是ToF在动作识别领域应用的典型。Vivo这次在MWC上,同样也展示了ToF用于动作捕捉与识别的功能,将手机作为捕捉入口,与大屏游戏交互。

AR\VR\MR应用开发中的3D建模

Time of Flight「ToF」技术简介「刘延」  第10张

谷歌Project Tango手机上使用的ToF组件 - 来自互联网

谷歌的AR技术Tango Project与系列部分机型采用ToF技术进行场景3D建模,包括上图所示的Project Tango原型机、联想Phab 2 Pro、华硕ZenFone AR等。微软也不会放弃来自Kinect 2中的ToF技术,微软的MR设备里,用于场景3D建模的技术,同样也是ToF。此外,根据供应链消息,苹果一直没有放弃在后置摄像头上使用ToF传感器,用作3D建模。

总结

不同厂商和设备的ToF在硬件实现上大同小异:使用ToF传感器生成深度数据,使用红外传感器获得红外信息,使用RGB传感器获得色彩信息,以联想的Phab 2 Pro为例,这款AR手机具有复杂的环境感知功能,其3D摄像头中的传感器包括英飞凌(Infineon)、PMD飞行时间(ToF)传感器、豪威科技(OmniVision)近红外全局快门图像传感器、三星(Samsung)RGB图像传感器等。 其实ToF传感器在手机上并不是什么新鲜事物,“激光对焦”曾一度在手机市场流行;也有苹果手机、平板等设备用于距离传感器;谷歌在Project Tango的探索中,也尝试过使用ToF方案进行3D建模。但用于3D人脸识别,vivo将是头一个,它展示了人脸识别、人脸支付等安全认证领域一个全新技术规范和标准,指纹识别将不再是全面屏手机的难题,而且相对于指纹图来说,人脸的景深信息3D数据既不是完整的照片,也无法打印。非法利用的难度更高,对于移动支付等安全领域也将比指纹更为安全。

The End