Google 做了个「移动镜子」,在 8 万图库中寻找你的有缘人

Xsens动作捕捉 2023-04-14 5864

Google 做了个「移动镜子」,在 8 万图库中寻找你的有缘人  第1张

摘要

「移动镜子」让你以一种有趣的方式来检索图片,只要在摄像头前做出各种动作,就可以在镜子中看到和你做相同姿势的人的照片。

Google 特别擅长做些小工具来展示自己的 AI 技术,得益于 TensorFlow.js 系统,很多需要大量数据训练的 AI 工具可以在浏览器上运行,这让一些原本复杂枯燥的技术能以有趣的方式展现出来,普通用户也可以方便地体验到。Google 专门有一个网页来展示这些有趣的实验,最近他们又推出一个好玩的小工具,Move Mirror(移动镜子)。

「移动镜子」让你以一种有趣的方式来检索图片,只要在摄像头前做出各种动作,就可以在镜子中看到和你做相同姿势的人的照片,你换个姿势,检索的图片结果也实时改变,看起来就像一个动态的「镜子」。数据库里一共有 8 万张图片,你移动,这些图片也跟着变。仔细看的话,有的人在跳舞,还有空手道、做饭、散步、滑雪等各种姿势。你可以把自己的动作录下来做成 GIF 图分享。

这样的技术是通过 PoseNet 模型来实现的,这是一种先进的姿势预测模型,可以从图像中提取高精度的姿势数据,即使是模糊的、低分辨率的、黑白的图像。其实类似的识别功能我们在其他地方也见过,比如一些会场用专业的监控系统管理现场秩序,还有电影拍摄时进行动作捕捉,很多都用到了类似的关节捕捉技术。

Google 做了个「移动镜子」,在 8 万图库中寻找你的有缘人  第2张

图片来源:Medium

只不过原本的姿势预测需要很专业的设备,要用到特殊的红外相机和传感器,然后从 2D 图像里提取姿势的数据来完成预测。这样的解决方案很有效但并不能大规模使用,因为太昂贵。但通过 PoseNet 模型可以很好地处理这些数据,把它移植到 TensorFlow.js,就能允许用户在浏览器中运行机器学习模型,无需服务器。任何拥有网络摄像头的手机或电脑都能在浏览器上体验和使用这个技术。

Google 做了个「移动镜子」,在 8 万图库中寻找你的有缘人  第3张

还记得前几天刷屏的「猜画小歌」吗?其实它的原理也是由人来输入视觉信息,计算机进行处理并识别。更早 Google 还做过另一个实验 Land Lines,随意画一笔来匹配 Google Earth 中的类似线条。Google Art & Culture 里增加过名画匹配的功能,它和移动镜子的功能要更像,一个是面部识别,一个是姿势识别,数据库一个是名画,另一个是 8 万张动作图片。

想试试「移动镜子」的朋友可以点击这里体验:Move Mirror

编辑:Rubberso ■

The End