北京冬奥的「眼睛」,不止猎豹、飞猫

Xsens动作捕捉 2022-11-02 6246


北京冬奥的「眼睛」,不止猎豹、飞猫  第1张

作者 | 李溪

编辑|余快

2月7日,在2022北京冬奥会短道速滑男子1000米决赛中,韩国与匈牙利选手先后被场内摄像头捕捉到犯规动作,最终中国选手任子威、李文龙包揽金银牌。

比赛一结束,全网感谢起了“猎豹”和“飞猫”,这两个高清摄像系统,全程无死角地记录了比赛过程中的全部细节,被网友评为“冬奥场馆内的第二位裁判”。

它们的蹿红,是对公平的渴求,也是对竞技精神的绝对尊重。不过,充当北京冬奥眼睛的,也不仅仅是猎豹和飞猫。

仅转播系统上,就有660+台摄像机。其中包括148台特殊摄像机,13台轨道摄像系统,11台索道摄像系统,10套子弹时间回放系统,33台虚拟现实摄像机,25套ENG摄像机。

这些系统部署在不同比赛场地,比如10套子弹时间回放系统分别位于短道速滑、花样滑冰、冰球、自由式滑雪、滑雪跳台、单板滑雪等10个比赛场地中。

而更多的AI视觉技术隐身其中,它们捕捉赛事的精彩瞬间,维护比赛公平,更帮助人类不断突破自身极限。

  • 短道速滑、花样滑冰:“韩见愁”飞猫

首先纠正一下广大网友的小错误。

被网友调侃的“韩见愁”,其实是短道速滑比赛的“飞猫”系统,位于首都体育馆,由40台4K超高清摄影机阵列加上3台8K VR摄像头组成。

速度滑冰是速度的比拼,短道速滑则是战术的较量。

比赛期间的交替滑行、领滑、跟滑、超越,会有身体接触、碰撞、抢占身位、路线封堵,是一项综合战术比较强的运动。偶然因素多,也更刺激。

项目场景不同,摄像机的作用也有差异。猎豹的强项是快速跟踪拍摄,但存在视线盲区,飞猫摄像系统的“40台4K超高清+3台8K VR”摄像机组合,多机位、超高清的摄影机阵列,能做到视角全覆盖,转播画面外,还能辅助判罚。

  • 超高防疫规格:亿像素阵列像感器光场相机

奥运场馆防疫的要求极为严格,五棵松体育中心、首都体育馆内,有一款赛事防控的特殊相机,亿像素阵列像感器光场相机担此重任。

对于大场景、多对象的超高清拍摄,与一般需要成百上千个超高清摄像机系统不同,亿像素级阵列像感器光场成像系统几台设备就能搞定。

其设备体积小,也具有最大360°的超宽视角,超高清的视觉成像效果,尤其适合“大视野、多对象、复杂交互”场景。

在冬奥场馆中,它也实现了对赛事区域进行超视距、宽视野的全域无盲区覆盖。

在防疫任务上,这款摄像机有19个摄像头,可以实时记录场馆内的事件和识别及追踪人员,如果人员出现异常,它可以迅速锁定目标,迅速追踪捕捉。

此外,还有以亿像素阵列计算摄像机为基础的防疫管控智能分析平台,对场馆内进行全场景、全过程、全细节记录。

背后的“十亿像素级阵列像感器光场成像系统”,源自清华成像与智能技术实验室,由中国工程院院士、清华大学信息科学技术学院院长戴琼海领衔的多位教授、研究员和学生自主研发。

速度滑冰:猎豹,特种拍摄设备时速90公里

近日大火的“猎豹”,其实在速度滑冰的比赛馆——国家速滑馆“冰丝带”中当差,且仅有一套。

这个跑得比运动员还快的摄像机,由中央广播电视总台针对大型快速直道和弯道运动项目进行跟踪拍摄需求研发,历时5年,学名为“超高速4K轨道摄像机系统”。

它是专门用于冬奥会速度滑冰赛事转播,是电视直播特种设备,而非裁判系统摄像机。

北京冬奥的「眼睛」,不止猎豹、飞猫  第2张

因其超高速度,在部署时需要安装在赛场外侧,且需安装隔离板以确保周围人员安全。出于安全和适配度考虑,短道速滑比赛并未安装“猎豹”系统。

360米长的U型轨道是它的跑道,加上一台陀螺仪轨道车,就能上阵。

速度滑冰比的是绝对速度,速滑运动员平均速度可达15m/s,约为每小时50公里,顶尖运动员,时速可达70公里。

运动员超高时速的比赛,给观众带来的冲击感,也对摄像机的高速运动性能要求极高。

它之所以被命名为“猎豹”,正是因其惊人的速度,运行速度最高达到25m/s,同时加速度能达到3.5m/s,相当于每小时90公里,一举一动均逃不出“猎豹”的眼睛,选手们的微表情都可以清晰捕捉到。

除了实时跟踪运动员位置,还能配合转播需求,实现加速、减速、超越等动作,灵活捕捉比赛画面。

当然,除了猎豹,冬奥会为速度滑冰直播研发了锥桶摄像机,通过更多元视角记录比赛。

北京冬奥的「眼睛」,不止猎豹、飞猫  第3张

  • 高山滑雪:智能跟踪拍摄系统,追上时速170公里的选手

高速运动目标跟踪拍摄系统,是登陆冬奥赛场的又一项硬科技。

北京冬奥组委梳理了韩国平昌冬奥会的突出问题,其中就有高山滑雪拍摄的难题。

高山滑雪项目以刺激性和挑战性著称,运动速度快,回转运动多。

滑雪过程中,高山滑雪速降选手滑行速度在每小时110公里至130公里,甚至能达到170公里/小时的速度,要想精彩呈现,设备的识别以及跟踪要以毫秒计算。

此外,运动场地地形复杂、天气环境多变,环境温度通常会达到零下20度以下,拍摄环境恶劣,对人工操作技术要求颇高。

传统人工操作,不仅需要在陡峭的雪道上架设数十台专业摄影平台,滑雪赛道也需要人工拍摄驻守。

北京冬奥的「眼睛」,不止猎豹、飞猫  第4张

在前端采集上,冬奥会采用了“高速运动目标跟踪拍摄系统”,摄像头通过智能控制中台,犹如“鹰眼”,自动对焦,快速锁定高速滑行的运动员,自动实时跟踪拍摄,能在500米距离外,进行时速170公里运动目标跟踪拍摄。

数台摄像机,就能将高山滑雪运动员自山顶高速滑下的全过程尽收“眼底”。

这项技术由北京理工大学开发,这是冬奥场景中首次实现高速运动目标的无人化全局搜索、自动捕捉与智能跟踪拍摄。

  • 冰上象棋:“冰壶运动轨迹捕捉”技术

北京冬奥的「眼睛」,不止猎豹、飞猫  第5张

冰壶有“冰上象棋”之称。

这项起源于16世纪的苏格兰的运动,于1998年在第18届冬奥会成为正式冬季奥会比赛项目。

作为一种“策略游戏”,虽然没有激烈的身体对抗,但也是智力、体力的双重较量,兼具技巧与谋略。

冰壶运动轨迹,对运动员至关重要。他们要时刻关注冰壶的位置与速度,据此调整策略。

为了实现比赛场馆真实场景的数字化呈现,此次冬奥会,采用了“冰壶运动轨迹捕捉”技术。

在冰立方场馆内部署多路高清摄像头基础上,结合视觉AI感知、深度学习、三维建模和空间定位等技术,基于超3500个AI模型,让这项技术可以在1000平方米的大空间范围内对初速度约6m/s的冰壶实现检测跟踪和轨迹捕捉。

冰立方场馆内有一个长24米、宽7米,面积达170平方米的大屏。冰壶轨迹,通过实时渲染、虚实同步技术被精准还原,投射到大屏上,比如运动员掷出冰壶的同时,大屏会实时绘出一条曲线。

这个与整个冰场等宽的智慧大屏,可以同时展现4个大本营的实时画面,也能还原运动员捕捉制胜瞬间。

参赛队伍可以判断大本营的冰壶分布情况,了解比赛局势,以及帮助教练员和运动员研究战术、指导训练。而观众,可以借此了解冰壶运动的规律和精髓,欣赏之余关注竞技双方的策略战术,获得更多参与感。

  • 高山滑雪、越野滑雪、跳台滑雪:场景三维感知及重建技术

此次冬奥中,研发团队通过“冬季项目场景三维感知及重建技术”,对跳台滑雪、高山滑雪、越野滑雪等项目的三维场景数据,结合运动员实时跟踪数据,还原真实场景。

为什么要进行雪场三维重建?

雪山赛道海拔落差大,气候变化多端,滑雪运动员速度极高。

全面掌握赛道状况、了解运动员运动细节,不仅能减少运动员在非训练时的损,还能纠正训练动作,提高运动员的训练效率,对科学训练至关重要。

想要测量运动员的滑行轨迹、掌握运动细节,就需要构建真实的场景。

在低温、复杂地形条件下,为了真实还原,北理工团队通过无人机载激光雷达扫描系统,基于大量实地数据收集,实现了高精度重建雪场和训练数据的实时传输。

为了在高速运动中精准定位,冬奥会采用了高速高分辨率的相机系统、高帧频发射机,运用北斗定位系统配合固定基站,将定位精度提高到了厘米甚至毫米级别。

雪道的坡度、长度、运动员的速度、加速度、滑行距离、转弯半径等数据都能被迅速计算,并及时呈现,三维感知技术为运动员提供高沉浸感训练环境。

  • 自由式滑雪、跳台滑雪:人工智能辅助系统

2月8日,谷爱凌最后一跳以1620的高难度动作完成绝杀,拿下了冬奥会历史上自由式滑雪大跳台的第一枚金牌。

跳台滑雪、自由式滑雪等雪上运动的精髓之一,是运动员精彩流畅的空中动作并成功落地。

除了运动捕捉,精彩更来自背后的人工智能辅助技术。

北京冬奥的「眼睛」,不止猎豹、飞猫  第6张

此外,对关键技术动作完成情况的实时掌握,对裁判打分极为重要。滑行速度、起跳与角度、手臂摆动的角度、自身的状态等,都是影响其成绩的重要因素。

比如越野滑雪用什么姿态最省力;跳台滑雪用哪种姿势起跳最好;高山滑雪运动员通过旗门时雪板和旗门的距离、雪车雪橇进入弯道时的角度、运动员腾空时与地面的相对位置等,以及高山滑雪如何快速绕过旗门。

这些项目对运动员身体控制能力极高,运动员在训练中难以察觉诸如手臂摆动角度、起跳的高度等细微差别,仅仅依靠教练的经验感觉和简单视频分析远远不够。

冬奥为此研发的人工智能辅助系统。在赛道多个关键点部署超高清高速摄像机,对运动员跳角度、速度、姿态控制、距离等的三维动作进行捕捉,再通过智能图像处理技术帮助分析每个技术动作细节,并快速生成数据。雷峰网雷峰网雷峰网

The End