【设计说vol7】体感交互 Kinect 二三事

Xsens动作捕捉 2022-10-18 13283

体感交互·再回顾

提到“体感技术”，相信很多人都会不明觉厉。确实，诸如“××技术”的科学名词一度离我们异常遥远。然而，“体感技术”却被广泛地应用且真切地存在于我们身边。是的，此刻我们可能正在感受并使用着。

体感技术，又称动作感应控制技术、体感交互技术，它是一种直接利用躯体动作、声音、眼球转动等方式与周边的装置或环境互动，由机器对用户的动作识别、解析，并做出反馈的人机交互技术。它强调创造性地运用肢体动作、手势、语音等现实生活中已有的方式和计算机交互，而无需为人机互动额外学习，从而减轻了人们对鼠标、键盘等非自然的操控方式的依赖，缓解了手指与鼠标、键盘的紧张关系，使用户关注于任务本身。

“体感技术”的概念听上去有点高大上，莫慌，给你一个生活版的经历感受一下。想象你正拿着你的智能手机，转动手机就可以横竖屏切换，晃动一下就可切换歌曲；玩小球游戏的时候，仿佛手里平端着一块板，上面的球会根据倾斜角度不同来回滚动…——这些都是体感技术的具体应用。你是不是一下子感觉巨熟悉，猛拍一下大腿：“就这？”对，就这。

MOTO摩托罗拉?屏幕自由切换

体感交互广泛的存在于我们身边，这种自然的人机交互体验不仅使很多日常操作变得更加便捷，而且还能够在无需触碰的情况下处理诸如3D建模、搭配衣物、训练运动员、手术过程中放大查看医学图像等任务。体感技术也开始在教育中催生出新的应用，并正在改变和扩展学习的交互方式——以后的学生们在课堂上，说不定只要坐在位置上用手比划几下，黑板上就出现了刚才老师提问的某道题的答案，仿佛拥有了隔空书写的能力。刺不刺激？期不期待？

Kinect Age

体感技术进入大众视野，始于2004年索尼公司推出的一款PS2游戏机的配件EyeTOY，如下图所示，它带来了一种新颖的人机交互方式。在游戏中，EyeTOY上的摄像头会将电视前的玩家扫描并整合到游戏画面中，玩家可以在游戏场景中挥动双手来进行拳击、放烟花等游戏。

索尼-游戏配件EYETOY

2012年10月，微软发布了游戏主机Xbox的体感配件Kinect，一下子让游戏玩家感受到了什么叫“身临其境”，将体感交互推广到公众的生活。体感外设Kinect，原本只是用于XBOX 360游戏，但它提出的新的交互方式瞬间引爆了全世界爱玩Geek的神经。层出不穷的想法和应用不断地刺激着人们的视听。今天就来对此技术进行揭秘，让大家看看Kinect的强大之处。

Kinect是XBOX360外接的3D体感摄影机，如下图所示，它利用即时动态捕捉、影像辨识、麦克风输入、语音辨识等功能，使玩家摆脱了传统游戏手柄的束缚，使用自己的肢体来控制游戏，使得Xbox中的各种游戏具有更强的真实感和娱乐性。

Kinect for XBOX

作为Xbox 360的外设，Kinect不需要使用任何道具即可完成整个动作的识别和捕捉，它使用了由微软剑桥研究院研发的基于深度图像的人体骨骼追踪算法，而深度图像则是由PrimeSense公司提供的Range Camera技术产生的。此外，Kinect还可以识别3D立体语音。

2009年6月1日，Kinect在E3游戏展上首次亮相，它当时的代号是Project Natal。这遵循了微软以城市名作为开发代号的传统，Project Natal来源于巴西城市Natal。Natal是拉丁语，英语中有“初生”之意，由此可见，微软公司期望Kinect能够给Xbox 360带来新生。在E3 2009游戏展上，Kinect的骨骼捕捉技术已经可以在30Hz的条件下同时捕捉4个人的48个骨骼动作。

2010年3月25日，微软宣布将在E3 2010期间召开的“初生计划全球首秀”发布会上公布Kincet的发售日期。2010年6月13日晚，这个发布会在格兰中心体育馆举行，会上微软宣布将Project Natal正式命名为Kinect，这融合了kinetic（运动）和connect（沟通）之意。同时微软还宣布，Kinect将于2010年11月4日在北美正式发售。2011年11月4日，在Kinect发布一周年的日子，世界各地的研究人员已经将Kinect应用到了医疗健康、教育、日常生活等各个领域，以探索Kinect技术的无限可能，这就是所谓的“Kinect效应”。此外，Kinect动作捕捉的机器学习技术还荣获了2011年MacRobert Award工程创新大奖。

Kinect体感交互技术

那么Kinect究竟是怎样实现体感交互的呢？Kinect又有哪些基本功能呢？接下来将揭开Kinect在硬件、软件方面的神秘面纱。

△ Kinect的结构组成

Kinect一共有3个摄像头，中间一个是RGB摄像头，用来获取640×480的彩色图像，每秒钟最多获取3实现原理0帧图像；两边是两个深度传感器，左侧的是红外线发射器，右侧的是红外线接收器，用来检测玩家的相对位置；整个设备的两侧是一组四元麦克风阵列，用于声源定位和语音识别；下方还设有一个带内置马达的底座，可以调整俯仰角。下方就是Kinect的效果图，中间两个圆圆的眼睛是不是很可爱？它们在观察你哦~

Kinect的整体结构

Kinect内部构造

Kinect的内部结构：左边的第一个圆圈装置是红外投射器，中间的是RGB摄影机，最右边的为红外感应器。有人以为Kinect是靠双摄像头定位的，其实事实并非如此。那么这三个配件是如何工作并识别出人体，实现体感交互的呢？

深度摄像头

Kinect实际上是利用“光编码”技术，通过深度传感器获取到视野内的环境三维位置信息。这种深度数据可以简单地理解为一张利用特殊摄像头获取到的图像，但是其每一个像素的数据不是普通彩色图片的像素值，而是这个像素的位置距离Kinect传感器的距离。由于这种技术是利用Kinect红外发射器发出的红外线对空间进行编码的，因此无论环境光线如何，测量结果都不会受到干扰。

Kinect红外感知

换句话说，整个Kinect其实就是一个大蝙蝠，红外投射器不断向外发出红外结构光，就相当于蝙蝠向外发出的声波，红外结构光照到不同距离的地方强度会不一样，如同声波会衰减一样。红外感应器就相当于蝙蝠的耳朵，用来接收反馈的消息，不同强度的结构光会在红外感应器上产生不同强度的感应，这样，Kinect就知道了面前物体的深度信息，将不同深度的物体区别开来，如下图所示：

Kinect探测原理

墙距离Kinect很远，所以被一种颜色标注，而人比较近，就用另一种颜色标注。在得到深度信息后，Kinect会像切鱼片一样，按照深度由小到大得到很多切面图像，如这张图里人和墙就在不同的切面图像里了。下一步就是对不同切面的图像进行分析，假如这个切面图像里有和人体轮廓相似的区域，Kinect就会激动的跳起来：“I catch you，Boy！”，进而就会在这个深度跟踪人体的切面图像，并且识别出人体的各个部位。

骨骼追踪

当面前的目标已经被锁定，Kinect会从上到下扫描人体，然后根据你的身高逐步判断出你的膝盖、手掌、肚子的位置，并把这些相对的位置数据绑定到一个虚拟的骨骼上面，这样，就完成了从真人到虚拟人的映射。

如果对在视野范围内移动的一个或两个人进行骨骼追踪，Kinect可以追踪到人体上的20个结点(一般是24个节点)。此外，Kinect还支持更精确的人脸识别。

骨骼追踪技术

语音识别技术

Kinect与Microsoft Speech的语音识别API集成，使用一组具有消除噪音和回波的四元麦克风阵列，能够在3米以外过滤掉背景噪音和其他不相干声音，准确地识别出玩家的语音。Kinect系统还有一个根据不同国家不同口音建立的“声效模型”，用来识别不同的口语和语言。这项技术在视频会议系统中可用于远距离拾音，为可视通话提供了保障。

说到这里，也许有人发现RGB摄像机好像没有运用到？是的，就人体识别和跟踪来说，RGB摄像机没有任何用处，华硕的体感设备Xtion上就没有这个设置。之所以安装这个摄像机，是为应用做准备的。

这么说吧，Kinect既然识别了你的手，那么在你手的位置放个包包，就可以模拟你拎包时的样子了——这便是RBG摄像机的用处：通过和深度信息的对应，在RGB图像中叠加进虚拟物体，来达到增强现实的作用。

Kinect在虚拟穿衣镜中的应用

OK，Kinect原理剖析完毕，这种基于红外光的人体识别方式较几年前基于图像的识别方式在速度和稳定性上都有了质的飞跃，给无数Geek带来了一把利器。

Kinect的创新应用领域

目前，国外已经出现了许多利用Kinect技术开发的精彩应用，例如Kinect试衣镜、Air Presenter演讲软件、Kinect光剑、Kinect街头霸王等。很多创意都可以在MSDN Channel 9的Coding4fun栏目里看到。

在国内，Kinect for Windows SDK Beta发布伊始，微软亚洲研究院便启动了“微软校园菁英计划”之Kinect Pioneer项目，在全国范围内动员微软学生技术俱乐部的同学们集思广益，提交他们基于Kinect的新创意，并向优秀的创意团队提供Kinect设备和技术支持。仅一个多月的开发时间，多个优秀创意团队便成功提交了Kinect创意项目原型，其中包括使用手势进行变脸的3D脸谱虚拟平台、Kinect教学助手、基于Kinect的网上试衣间等。在随后的2012微软精英大挑战Kinect主题上，来自全国30所高校的100余支队伍也积极参与到Kinect for Windows的开发当中，这使得Kinect在中国大学生中得到了全面的推广。

3D脸谱虚拟平台

下面简单介绍一下来自西安电子科技大学团队的3D脸谱虚拟平台。此创意将京剧这门传统艺术和新颖的Kinect技术结合到了一起，通过Kinect搭建了一个可以让京剧迷享受虚拟演唱体验的平台：一个提供脸谱、服装和场景的华丽舞台。凭借着Kinect的人体识别和传感技术，用户可以直接跳过繁复的化妆过程，用手势来选择自己喜爱的角色脸谱，生、旦、净、末、丑，一应俱全，选择完毕后，就可以对着屏幕表演喜爱的曲目并录像了，如图所示。当与其他戏迷朋友分享视频时，他们可以欣赏到惟妙惟肖的场景和表演。这样的方式不仅能使老京剧迷们的交流更加便捷，还能让年轻人通过更炫的途径去了解这门生动的国粹。

3D脸谱虚拟平台

虚拟试衣系统

虚拟试衣系统。虚拟试衣系统实现了不需用户真正穿上衣服便可看到衣服上身效果的虚拟试衣体验。用户只需站在屏幕前，选择虚拟试衣系统中存储的品牌衣服图片，系统会根据Kinect获取到的骨架数据自适应地穿在用户在屏幕中的影像上，达到轻轻松松试衣的效果。这样不仅使得试衣变得更加便捷、有趣，还能有效减少试衣成本。

Kinect手语翻译系统

手语翻译系统旨在解决聋哑人与正常人的沟通问题，利用Kinect对肢体动作的实时捕捉，对特定的手语动作进行识别，最终翻译成文字，这样不懂手语的人也可以跟聋哑人正常交流了。目前，该项目的研究已经取得了重大的进展，我们相信结合Kinect强大的体感交互技术，在不远的将来就会看到Kinect手语翻译系统成为聋哑人的得力助手。

手语翻译系统

除此之外，微软发布 Kinect SDK 后，越来越多的行业级应用被开发出来。圣托马斯医院在伦敦开始另一个试验，使用 Kinect 协助医生做外科手术。因为手术间要求有严格的无菌环境，手术间的人数和设备都有严格的限制。利用 Kinect 的摄像头捕捉医生的手势动作，加上必要的语音识别程序，医生可以很方便地查看他需要的影像或其它化验信息，甚至可以手术同时，请求其他医生协同会诊。这项新技术大大降低了手术所需的时间和风险。

使用Kinect有利于放大查看医学图像

虽然，目前体感技术本身还不够成熟，体感游戏也刚刚开始在各个领域内有创新地应用。但游戏并不是体感技术的边界，作为一种全新的交互方式，它正逐渐渗透到人们生活和工作的各个领域，包括教育、医疗乃至军事。它唤醒了人机交互领域中更大胆的创新精神，指明了未来人机交互的发展方向。相信不久的将来，体感技术会更多地参与到学习过程中，并且催生出越来越多地教育创新。

编辑：星梭

ABOUT：星梭