到底有用吗?从荣耀和小米的争论看TOF技术
比起娱乐圈那些“剪不断,理还乱”的口角,科技圈里的争执无疑显得更加理性也更加科学。就在小米旗舰机型“米酒(小米9)”上市前夕,小米高管与荣耀高管利用微博隔空喊话赚足了眼球,他们围绕TOF相机是否为噱头,TOF相机的实际应用展开了一系列的辩论。
随着最后小米9的上市,这场辩论也逐渐平息了下来。但对于我们用户来说,了解这场辩论的前因后果,以及明白他们所争执的TOF技术到底为何物才是比较重要的。接下来就让我们一起来看看这次科技圈的TOF之争。
科技标杆or科技噱头
荣耀与小米争端始末
在小米9上市之前,小米内部为这款旗舰手机赋予了一个酷炫外号—战斗天使。随着新机的不断预热和爆料,自然有用户会将年前荣耀发布的旗舰手机V20与彼时还未发布的小米9进行对比。这当然是无可厚非的,不过在荣耀业务部副总裁老熊看到后,表示“荣耀V20利用硬核科技引领手机行业发展,其屏下摄像头、TOF深度镜头、LinkTurbo、云电脑技术均为开创技术先河,成为行业标杆。目前还没有比肩荣耀V20的产品出现。”
就在老熊发布微博不久,小米产品总监王腾表示:“3000多元的旗舰机型还是后置指纹识别,后置单摄就不要出来嘚瑟了。”事实上,荣耀V20搭载的后置摄像头为主摄像头+TOF摄像头,不过在小米眼中,TOF摄像头似乎只是个噱头。
同日,小米高管卢伟冰发微博佐证了这一观点:“TOF小米技术预研早就认为是个噱头,没啥用,骗用户瞎花钱(谁普及下说说TOF在今天的用途?),况且隔壁O去年Q3就量产了带TOF的产品,怎么又是他家‘开创技术先河’?跟韩国说孔子是韩国人有啥区别?”
抛开TOF是否为噱头不谈,单以手机配备TOF摄像头的时间来说,卢伟冰说得并非没有道理。早在2016年,Google和联想就合作推出了全球第一个搭载Project Tango(Project Tango是谷歌公司的一项研究项目)技术的手机Phab2 Pro,该手机的深度相机采用英飞凌的TOF方案。Phab2 Pro可以自带的TOF摄像头扫描外界三维环境,构筑三维模型,再配合运动追踪,即可告知设备在空间中的位置,与四周障碍物的距离。
就国内厂商而言,OPPO在去年8月24日发布了R17 Pro,该款手机是国内首款搭载TOF摄像头的机型。紧接着,vivo 12月11日在上海召开NEX双屏版发布会,背面也加持了一颗TOF摄像头,可以减少人脸解锁的识别时间并支持人脸支付功能。所以仅发布时间来说,荣耀V20应当不是国内第一款搭载TOF相机的机型。
至于TOF是否真为噱头呢?荣耀老熊发微博阐述了TOF的价值:“荣耀认为3D TOF将是未来手机最重要的发展方向之一,荣耀V20是推动3D TOF实用化的前行者,通过深度镜头的深度测量、扫描建模、骨骼识别、运动捕捉,已实现3D视频瘦身、3D体感游戏等多种酷炫功能,未来能够突破性的将现实世界物体,人像,空间虚拟化,是AR和VR等应用场景的必备能力,这也必将是5G移动互联网最重要的应用场景之一。”当老熊发布该条微博不久,小米总裁林斌对此点赞,这让一旁围观的网友一头雾水。无论如何,在老熊的“科普”下,小米显然也开始认同了TOF未来的价值所在。
那么关于TOF当下的实际应用如何呢?2月15日晚,荣耀手机赞助的《歌手》新一期正式播出,荣耀官微发微博晒出歌手们对于荣耀V20 3D美体功能的喜爱。小米高管卢伟冰转发该微博并询问:“谁来普及下,什么是3D美体功能?你认为自己瘦了吗?”对此,荣耀老熊开启了科普“三连”,深层次地诠释了荣耀V20上TOF的功能和实际应用,并建议卢伟冰买一台V20实际体验一番。
时间来到2月17日凌晨,小米产品总监王腾发布微博长文详细描述了TOF,分别从原理、器件构成、优缺点分析和应用场景等多维度详细介绍了TOF。并且表示小米认可TOF是大行业方向,未来基于3D信息可以坐更多的探索。
去年第三季度,小米也投入了研发资源基于MIX 3做了预研样机并调通完成功能验证。但基于分辨率较低、应用场景有限等原因决定继续做预研,暂时没有导入量产。所以小米希望能够在未来合适的时间再推出搭载TOF的产品,带给用户更完整,更有价值的实际体验。
2月17日,荣耀老熊做了总结性回应。至此,荣耀与小米关于TOF之争终于告一段落。
TOF起底
这到底是个什么样的技术
辩论到最后,荣耀坚持TOF技术有用,小米则认为TOF技术未来可期,但目前还不够成熟。那么荣耀与小米口中的TOF到底是个什么东西,TOF技术的前景又如何呢?接下来就让我们一起更深度地了解TOF技术吧。
TOF原理
TOF技术是为了实现3D成像而生,对于大部分用户来说,以X和Y轴的手机拍照大家都非常熟悉了,但是对于Z轴上的成像却使用得并不多。这种可以实现X、Y、Z三轴的3D成像相机被称为深度相机,但深度相机根据各自测量原理的不同,一般分为飞行时间法、结构光法和双目立体视觉法,而其中的飞行时间法就是TOF(Time of Flight)的中文翻译。
TOF的其基本原理并不复杂:通过连续发射光脉冲(一般为不可见光)到被观测物体上,然后接受从物体反射回来的光脉冲,通过光脉冲的往返时间来计算物体离相机的距离。
▲TOF技术的原理相当简单:它通过发射光脉冲并接受反射回的光脉冲,利用其往返时间来计算物体离相机的距离。
在一般应用在手机这类较小的消费类设备上时,TOF相机与普通相机成像过程类似,主要由光源、感光芯片、镜头、传感器、驱动控制电路以及处理电路等几部分关键单元组成。但与普通相机不同的是,TOF相机还包括两大核心模块:发射照明模块和感光接收模块,并根据这两大核心模块收到的数据来生成深度信息。
TOF技术分类
其中TOF的发射照明模块一般采用LED或激光来发射高性能脉冲光,脉冲可达到100MHz左右。当前市面上大部分TOF相机技术是基于连续波强度调制方法,还有部分是基于光学快门的方法,两者的原理稍有不同。
连续波强度调制方法是指由发射照明模块发射一束照明光,利用发射光波信号与反射光波信号的相位变化来进行距离测量。这要求TOF感光芯片每一个像元对发射光波的往返相机与物体之间的具体相位分别进行记录,通过数据处理单元提取出相位差,由公式计算出深度信息。
该芯片传感器与普通手机摄像模组所采用的CMOS图像处理器类似,但要更复杂一些,它增加了调制控制单元,A/D转换单元,数据处理单元等硬件单元,它们承担着激光的发射时间、数据的转换和处理,以及误差校正等工序。
而基于光学快门方法的原理则更加简单。发射照明模块发射一束脉冲光波,通过接收器快速精确获取照射到三维物体后反射回来的光波的时间差,就可以利用光速和时间差来进行数据计算。但看上去简单的事情往往暗含复杂,因为光学快门在实际应用中如果想要达到较高的准确度,需要十分考验光学快门开关的精度,还要能够产生高精度及高重复性的超短脉冲,这对发射器和接收器的成本和体积都提出了巨大要求。
如果以低成本在手机上搭载基于光学快门方法的发射模块,那么会带来较大的误差,这对追求精度的3D成像来说是难以接受的,所以市面上大部分TOF相机更偏爱第一种方案。
除了TOF发射照明模块有差异以外,其感光芯片根据像素单元的数量也分为单点式和面阵式两种。单点式TOF相机需要通过逐点扫描方式获取被探测物体三维几何结构,面阵式TOF相机则只需拍摄一张场景图片,即可实时获取整个场景的表面几何结构信息。
很显然面阵式TOF相机更易受到消费类电子系统搭建的青睐,但面阵式感光芯片要比单点式感光芯片所需更多定制设备。不过想在寸土寸金的手机内部塞下整套组件实属不易,所以在此前Google与联想合作的Phab2 Pro手机中,就使用的是单点式感光芯片。
最后一个问题是功耗。此前,TOF芯片多是CCD类型,不仅功耗高,而且发热量大,这对本身电池续航就捉襟见肘的手机来说就是个问题,而这也是制约TOF由来已久但却迟迟没有应用于手机端的原因之一。好在芯片厂商致力于技术的创新改良,TOF芯片由CCD制式转向CMOS,在功耗方面得到极大突破,这让TOF应用于便携手机成为可能。并且CMOS芯片还搭载了高感光度的驱动模式,配合算法可以将高速率多帧图像合成单张图像,降低图像噪声以提高测量精度。
TOF技术误区
了解完TOF技术的原理和简单分类,我们再对市面上流行的TOF科普文章或测评文章中出现的误区进行纠正。常见的误区有两个:
误区1:TOF并不是镜头的类型,有时厂商为了方便消费者理解,引入了“TOF镜头”这类不太准确的称呼。TOF是一个方案,一个3D实时建模的方案,也是实现三种实现深度相机的技术之一。在硬件层面,它不仅拥有一个镜头,更拥有一套完整的收发组件。所以TOF镜头的称呼是不准确的。
误区2:在去年6月底上海MWC上,几乎所有媒体都认为vivo展示的TOF机型拥有10倍于iPhone X的识别精准度。但事实上iPhone X的深度镜头使用的是3D结构光技术,其散斑点阵数是3万,而vivo TOF 3D超感应的测距点数是30万,看上去似乎正好是前者的10倍。
但事实上两者使用的原理并不相同,iPhone X上的3万散斑点阵数是照射在物理表面的随机散斑,而vivo的30万个点是指在接收端有三十万个传感器测距点,这是完全不同的。所以关于精度的对比也不太准确。
▲iPhone X顶部的长刘海不得已而为之,因为其使用的3D结构光需要一段不短的距离,而使用TOF方案的相机机型并不需要。
TOF技术应用
我们此前说过TOF技术并非现在才有,只是现在才大规模搭载在手机上,那么在这之前,TOF技术有何应用呢?
在消费级产品中,应用TOF方案的深度相机主要有微软的Kinect 2、MESA的SR4000以及Google的Phab2 Pro,它们在体感识别、手势识别、环境建模等方面取得了较多的应用,其中最典型的就是微软的Kinect 2。
▲来自微软的Kinect 2可以实现动作捕捉等多种功能
Kinect 2是使用TOF方案的3D深度相机,它拥有即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能。它的出现颠覆了传统游戏的单一操作方式,用户可以使用肢体动作来操作游戏,这使人机互动的理念更加彻底地展现出来。
在专业领域,TOF相机经常被用来迅速获取物体体积,可以让快递公司优化装箱并进行运费评估,还可以用来代替那些庞大的安全生产控制的设备。另外,TOF相机还可以用于安防和监控,较远的测量距离可以用来统计人数并对敏感地区进行监视。在最近火热的自动驾驶方面,TOF方案也可以在自动驾驶或自动飞行中为电脑提供更好的避障信息。
TOF技术在手机上的应用
说一千道一万,那么在小米和荣耀最争执的手机应用层面,TOF是否有突出表现呢?答案是目前TOF相机在手机上的应用还较为基础,但也不乏诸多实用功能。在最常见的人脸解锁和人脸支付上,vivo NEX双屏版走到了前面,其搭载的TOF相机已经可以实现人脸解锁和人脸支付,这与iPhone X上的3D结构光可以完成的功能并无不同。
TOF另一个应用是在美颜美体上,vivo NEX双屏版和荣耀V20均搭载了拍照新玩法,它们可以利用TOF相机识别面部,再加上AI算法,以达到更精确的边缘细节。另外,荣耀V20还搭载了3D美体功能,可以利用TOF相机对拍照用户的身体进行美体塑形,呈现更自然的苗条身材,而这对女性用户来说拥有极大的吸引力。
另外,荣耀V20还支持AR体感游戏,它通过TOF相机捕捉用户的动作,在游戏中进行交互,类似于前文提到的微软Kinect 2。只不过暂时支持的游戏有限,且用户需要额外购买相关配件,以至于大多数用户都不知道该功能。
写在最后
由小米和荣耀引发出的“掐架”其实也不算是件坏事,至少让国内部分消费者关注起深度相机乃至更细分的TOF方案和3D结构光方案。至于荣耀V20上搭载的TOF相机是否噱头大于实用呢?我觉得也不尽然,至少TOF相机在荣耀V20上还是有美颜美体、AR游戏等实际应用,并且未来不排除荣耀会继续探索TOF技术的应用场景,例如3D试装、AR装潢、全息影像交互等功能。
虽说的确目前TOF深度相机在手机上应用有限,但值得期待的是,未来随着TOF识别精度的不断改良,5G技术的即将落地,TOF极有可能以多方面的优势成为智能手机的3D成像主要方案。