当舞蹈碰瓷科技，你可能看了一场“假”互动｜思考
你可能不止一次，见过你的朋友们分享下面这些看上去很“哇”的表演瞬间。
比如一整屏的像素点仰面摔下：
比如呼啦圈的旋转引起地面波纹：
比如用手击碎这些屏幕颗粒：
经过多轮刷屏，尤其是2016年年初，这帮幻觉制造者们还跑来北京天桥演出了。到现在为止，应该有不少人都了解这个团队——来自法国的Adrien M & Claire B。
为什么要提到他们呢？
因为，这个法国团队，基本上是我的“新媒体舞蹈”启蒙老师。2015年年初，我不幸看到了他们火遍朋友圈的作品Pixel，惊吓之余立刻跑去墙外找了更多更多的信息，然后……就停不下来了。
先来说说他们是怎么“启蒙”我的
大家都知道，现在在舞台上使用投影或LED屏实在是一件太稀松平常的事情了。随之而来的是一个常被诟病的问题——投影和表演之间往往并没有太多联系，呈现出“两张皮”的尴尬状况。
为解决“高科技”投影和“传统”表演之间的关联问题，各种打着“全息”名义的投影层出不穷——它们创造了一种3D视觉效果，使曾经在表演者“背后”的投影，现在起码看上去好像是在“身边”了。
看上去像是环绕在演员身边的纱幕投影效果
不过，大多数贴着“全息”标签的表演其实就是纱幕加投影，和真正的“全息”技术压根没啥关系。但是，至少前进了一步。
Adrien M & Claire B当然也这么做了。但这并不是我被“启蒙”的原因。
就像舞台上使用投影一样稀松平常——当使用投影时，演员与投影的视觉配合演出也同样数不甚数。这一类表演精打细算地卡好时间节点，反复排练一个一个的Cue点，总能表演得像真的一样，引来层出不穷的“哇”。
但是面对这种情况，我实在“哇”不出来。
明明没有互动机制，却要装得像有互动。设计得再精细，时间点卡得再好，也还是假的。并且，随着时间的发展，这个伪装套路充其量越做越精致，但却没可能有质的update。实在是太没劲儿了。
所以，Adrien M & Claire B给我注入的第一个想法就是——他们有些细节，看上去不像是装的啊！好像是真的，有交互！
咦，怎么做到的？！
他们如何做到最基础的“不装”？
我们且把一个基本的交互系统简化为如下三个部分。
舞台上也是这个道理。演员的动作就是输入，对动作输入进行信号采集，由计算机进行处理，最终通过屏幕或投影仪进行输出显示。
那些“假”互动的表演，就是没有对演员的动作进行真正的“输入”。因此，整个互动机制就不成立——一旦演员慢半拍，或者位置跑偏，这个“造假”表演基本上就砸了。
后期“PS”上去的配合效果
那么，如何对演员的动作进行“真正”的输入呢？
后期“PS”上去的配合效果
那么，如何对演员的动作进行“真正”的输入呢？
后期“PS”上去的配合效果
那么，如何对演员的动作进行“真正”的输入呢？
想要对动作进行真实的输入，就需要用到动作捕捉/追踪技术。下面这个同样来自Adrien M的小demo，使用了手部动捕利器Leap Motion，来进行实时的动作交互。
也许不如“PS”效果炫，但“真实”的交互有不可思议的魅力
真实的动作输入：盘点常用的动捕技术
有哪些常用方式，可以用来对演员的动作进行真实的“输入”呢？
1. 传统光学动作捕捉系统
最常用的是基于Marker（马克点）的光学动作捕捉。在演员身上粘贴能够反射红外光的马克点，通过摄像头对反光马克点的追踪，来对演员的动作进行捕捉。有时也会通过演员身穿反射红外光的紧身衣来完成。
来自光学动捕大佬Vicon公司官网的宣传图
身上的小白点就是Marker，Truss架上是摄像头
现代舞大师默斯·坎宁汉就曾多次采用这种方式对动作进行捕捉。（点击阅读原文，温习：十万个默斯·坎宁汉活到了现在）
这种方式对动作的捕捉精度高，但环境要求也高，并且还超级贵，属于好莱坞大片拍摄利器之一。不过，如果只是自己想捣腾玩玩，不仅用不起，而且一般还用不好。
* 代表产品：Vicon Motion System / Motion Analysis System
2. 惯性动作捕捉系统
这一类主要是基于IMU（惯性测量单元）来完成对人体动作的捕捉。把集成了加速度计，陀螺仪和磁力计的IMU绑在人体的特定骨骼节点上，通过算法对测量数值进行计算，从而完成动作捕捉。
听起来好像有点儿难懂，但其实我们每个人每天都会接触——我们的智能手机里都内置了IMU。这就是为什么当你把手机横屏时，正在播放的视频也会跟着横过来。
来自国内惯性动作捕捉公司Noitom的动捕案例
绑在演员身上的小红块就是IMU，一共需要绑17个
传统光学动捕来说，这种惯性动作捕捉方案相对价格低廉，适合小型工作室或预算不太高的团队完成动作捕捉。
* 代表产品：XSENS / Noitom
3. 基于计算机视觉的动作捕捉
前两种常用的动作捕捉方式都已经有很长的发展历史了，但这种基于计算机视觉的动作捕捉却是近些年才兴起的。不过，对于艺术创作和表演来说，这种方式因其简单、易用、低价，目前使用的频率可以说是最高的。
这种捕捉方式主要是通过采集及计算深度信息来完成对动作的捕捉。
比如，前文所提到，Adrien M做的手部交互小demo就是使用了以这类方式进行手部动作捕捉的产品Leap Motion。
Adrien M使用Leap Motion作为手部动作输入端
Leap Motion官方操作指南，非常简易，插上即用
Leap Motion只能捕捉手部动作，应用范围相对窄一点。毕竟除了“手舞”，我们还需要“足蹈”。因此，另外一个能捕捉身体动作的产品Kinect，基本上遍布各种需要交互的创作场景。
使用Kinect进行实时交互，可以与另一个形态的自己互动
尤其是那些出现在商场、影院、剧场里的可交互装置，如果你凑上前去看一眼，里面多半藏着一个Kinect。
* 代表产品：Kinect / Leap Motion
不那么好的“真”，和看上去很好的“假”
当然，我的“启蒙老师”Adrien M & Claire B也并非每一次都用了“真”交互。
在现阶段，令绝大部分看客在第一时间感到激动也不一定是“真”交互。就像神秘的AR（增强现实）产品Magic Leap最广为人知的，不就是那个鲸鱼跃出地面的特效“假”视频么。
Magic Leap早期宣传视频中最“激动人心”的一幕
然而，和人们的期待不太一样，新技术在发展的早期，往往是笨拙的。但是，却是极具启发的。这种启发，主要发生在观念的转化和思考的路径上。
因此，只有真的——真正的动作输入，才有那么一点可能带来创作方式、展演形式和思考路径上的革新。
即使它第一眼看上去可能会麻烦、难用或不那么友好，但所能带来的变革，是一万个“假”互动加起来也没办法做到的。