人体动态捕抓,新媒体艺术需要你的参与

Xsens动作捕捉 2023-05-01 5837

对交互,游戏感兴趣的应该知道

可实时捕抓人体动作的交互装置

在很长的时间内

都是通过一个叫Kinect的设备完成。


但是随着Kinect已经停产

新的技术的到来,

有一种更方便的方法

这就是机器学习。


人体动态捕抓,新媒体艺术需要你的参与  第1张
Daniel Shiffman



01

用身体作为一种交互语言

人体动态捕抓,新媒体艺术需要你的参与  第2张
作品:Ghost Pole Propagator II


Skeletonization 的图像处理技术可用于任何形状生成简笔画。

该算法广泛应用于一些光字母和数字识别中。然而,当它被应用到人的轮廓时,会产生一些特别的抽象效果。


人体动态捕抓,新媒体艺术需要你的参与  第3张

人体动态捕抓,新媒体艺术需要你的参与  第4张


这个项目的灵感来源于儿童简笔画,古代岩画和法国摄影师étienne-Jules Marey的运动研究。

这个装置通过捕捉行人的形象,在屏幕上实时生成了他们的动态骨骼,行人可以看到属于他们自己的动作图形。

与此同时,他们还观察了先前参与者的动态图形,这些参与者的动作在几分钟或几小时之前就被记录下来了。

人体动态捕抓,新媒体艺术需要你的参与  第5张
http://www.flong.com/projects/gpp-ii/


延展①

万千大众都是我的镜子


人体动态捕抓,新媒体艺术需要你的参与  第6张
人体动态捕抓,新媒体艺术需要你的参与  第7张


延展②

跟硬件结合的装置

*ML5也能做动态识别(但P5第四期课程不涉及硬件教学)

人体动态捕抓,新媒体艺术需要你的参与  第8张
Danny Rozin



02

与人体结合的艺术作品

人体动态捕抓,新媒体艺术需要你的参与  第9张
人体动态捕抓,新媒体艺术需要你的参与  第10张

作品:Fast Style Transfer Example


从此不再依靠别人的app来实现风格转移。结合p5发挥你的脑洞,比如说面向屏幕眼睛一眨,屏幕上的图片瞬间变了风格?

人体动态捕抓,新媒体艺术需要你的参与  第11张

甚至直接可以用你想要的风格录一段视频


人体动态捕抓,新媒体艺术需要你的参与  第12张
人体动态捕抓,新媒体艺术需要你的参与  第13张

P5.js创始人的作品

作品:How we act together


Lauren Mccarthy,P5的创始人,MIT毕业,2014-2016 ITP 教授, 2017-现在, UCLA DMA项目教授。

How we act together是一个群体艺术,它聚焦在社交过程中的小的姿态与情绪。让参与者不停的重复某一个情绪到达一个他们觉得非常疲惫的点,到一个他们不再对所表达的情绪感觉到自然的点,这个时候情绪就会有所改变。

整个互动过程是由一个电脑程序主导。参与者根据屏幕上给出的命令做出一些表情,只有当他们的表情被计算机视觉算法识别之后,他们才能跟在存储记录里的更多的人互动。


03

舞台新媒体艺术

近期流行的新媒体艺术展览中经常能看到的互动作品,

也少不了人体动态捕捉

人体动态捕抓,新媒体艺术需要你的参与  第14张
作品:Hakana?


在日语中,”Hakanai“的意思是”无常的,脆弱的,渐逝的,短暂的“。

这个非常古老的词用于捕捉人性中难以捉摸的方面。它是通过组合象征“人”和“梦想”的图形字符来编写的。

人体动态捕抓,新媒体艺术需要你的参与  第15张

基于物理运动建模的实时动画,在现场播放的原始乐谱上。演员表演后,将邀请观众探索舞台装置。舞蹈编排在移动立方体的沉浸式环境中进行,以此探索梦想的短暂和生命的逸度。

人体动态捕抓,新媒体艺术需要你的参与  第16张
人体动态捕抓,新媒体艺术需要你的参与  第17张
视频非常震撼 ??建议点开观看 Adrien M & Claire B


但kinect停产后

如果要实现上述案例的效果

怎么完成人体的动态捕抓呢?

答案是:ML5


ML5

最简单友好的机器学习语言
PoseNet Kinect 替代品

P5 的神奇之处就是它有一个最新的脚本库分支,叫 ML5,可以帮我们更方便的实现想要的效果。P5 第四期课程,新增教学内容,国内首发。

ml5.js 是一个新的 JavaScript 库,旨在使广大的艺术家,创意编码员和学生能够使机器学习变得平易近人。


人体动态捕抓,新媒体艺术需要你的参与  第18张


国内平台首发

ML5 机器学习做艺术创作

从此不再用 Kinect


ML5 用基于 Tensor Flow 的人体动态捕捉功能简直让识别人体的骨骼变得再简单不过了。

曾经看起来高大上(但实际很难用同时也停产了的 Kinect)可以被简单的电脑摄像头给替代了!

The End