3D+AI动作捕捉、机器人做饭、虚拟人陪伴,谁是冬奥黑科技冠军?
出品 | 搜狐科技
作者 | 梁昌均
编辑 | 杨锦
跳跃、转体、空翻,2月14日上午,2022年北京冬奥会自由式滑雪女子坡面障碍技巧资格赛展开争夺,中国选手谷爱凌一气呵成地完成所有动作后顺利晋级决赛,赛后“淡定吃饼”再次走红网络。
在此前的自由式滑雪女子大跳台决赛中,谷爱凌最后一跳凭借完成向左偏轴转体1620的高难度动作夺冠。2月15日,她将在自由式滑雪女子坡面障碍技巧决赛上冲击第二枚奖牌。
内行看门道,外行看热闹。在观众为之喝彩的同时,可能有不少人并看不懂谷爱凌一系列复杂的空中高速动作。而在“3D+AI”技术加持之下,谷爱凌的高空动作被定格、拆解后进行量化分析,帮助观众了解其中的奥秘和难度的同时提升观赛乐趣。类似的技术,也应用在冰壶、滑冰等其他比赛中。
2022年北京冬奥会的科技感不止于此。从开幕式到各个赛场,从赛事转播、观看体验到场馆防疫,以及运动员们生活的奥运村,各种“黑科技”的身影随处可见——全球最大地面显示系统,600人集体实时追踪捕捉,首次全面上云,还有吸引运动员们打卡关注并在社交网络走红的防疫机器人、调酒机器人等。
在观看赛事直播的过程中,细心的观众可能还会注意到画面右下角的手语解说,百度和腾讯的AI手语主播为国内2780万听障人士提供了共享精彩奥运的可能。这些都为北京冬奥会增添了满满的科技感。
开幕式科技感拉满,创下多个纪录
“太懂中国人的浪漫了”“夏奥开幕式和冬奥开幕式就差半年,这半年人类科技进步真大”。2月4日晚,北京冬奥会开幕式刷屏。相较2008年北京夏季奥运会开幕式约1.5万名演员演绎出的恢宏气势,这次冬奥会开幕式只用了不到3000人,并综合运用数字孪生、计算机视觉、航天科技、AR、3D、5G和云等科技,实现了“人少而不空,空灵而浪漫”的美学效果。
开幕式全程使用了数字表演与仿真技术,核心就是对鸟巢的智慧化改造,通过建设鸟巢的数字模型,动态采集设备的运行情况、人流情况、环境情况,进而建成基于人工智能的鸟巢数字孪生体。
这不仅解决了表演难题,比如开场节目《立春》中近400名演员同时挥舞发光棒而不相互干扰,就是通过数字孪生仿真技术模拟实际效果而实现,同时能在公共安防、设备预警等方面发挥作用,并提供公众服务和数字消费能力,实现场馆全要素智能化监测。
开幕式还大胆使用了全LED解决方案,包括地屏、冰瀑布、奥运五环、冰立方和两侧看台大屏,组成世界最大的高清LED三维立体舞台。舞台地面是利亚德、京东方等提供的超高对比度、刷新率和分辨率的4万多块LED模块组成,航天科技集团承建了全球最大的8K超高清地面显示系统,整体面积上万平方米,并经过长达5个月的高强度排练和极端低温冰雪天气考验。
开幕式还在世界上首次大规模进行集体实时AI动作捕捉渲染,600多位孩童举着和平鸽灯肆意奔跑,他们脚下的雪花也随之朵朵绽放,成为整场表演中最为浪漫唯美的场景之一。
这是通过英特尔3DAT(三维运动员追踪)计算机视觉动作捕捉技术,联合北京电影学院等定制开发的基于人工智能技术的演出实时特效系统而实现。凭借英特尔开发的人体检测和位置追踪技术等AI算法,仅通过4部摄像机覆盖全场,实现从数据采集、传输分析到实时渲染无缝衔接,达到实时互动效果。
最后点燃微火的大雪花主火炬台则是技术、艺术和环保理念的相得益彰。由运动员入场的雪花引导牌组成的主火炬台直径达14.89米,包含96块小雪花形态和6块橄榄枝形态的LED双面屏,采用双面镂空设计,嵌有55万余颗LED灯珠,每一颗灯珠都由驱动芯片的单一信道独立控制。
主火炬台整体硬件支撑和软件系统来自京东方。通过500多张设计图纸和近10轮的制样,京东方核心技术团队研发出目前行业内发光面最窄的单像素可控异形显示产品,能够充分呈现雪花的线条感和细腻的画面,将导演组的艺术创意变成现实。
“科技越来越多地成为了艺术的重要组成部分,开幕式中的人与‘湖面’‘雪花’的互动,这种流畅的效果不是仅靠反复排练就能达到的,而创新技术帮我们实现了创意,它让艺术发挥更大魅力。”冬奥会开幕式总导演张艺谋说到。
开幕式也首次使用了我国具有自主知识产权的高可靠、低时延EUHT无线宽带技术,进行8K超高清直播无线传输。这也使得此届冬奥会成为全球首次规模化应用8K技术进行开幕式直播和重点赛事报道,并通过5G网络全方位呈现冰雪视觉盛宴的一届赛事。
解锁观看新体验,实现首次“云上奥运”
除了在开幕式环节“故穿庭树作飞花”,让开场更美。本届冬奥会使用的黑科技也让赛事观看方式更便捷、多样。受疫情影响,很多观众无法现场观赛,但借助VR导览系统,不仅可以“云”逛冬奥场馆,还能360度全方位无死角观赛,解锁了全新的观赛体验。
冰壶是最早开始进入赛程的冬奥会项目,许多观众对这项偏小众的运动规模并不十分了解,对运动员在比赛中的决策也难以明白,但AI技战术分析能很好地帮观众释疑。
在2月14日进行的俄罗斯奥运队VS瑞士队的冰壶比赛直播中,搜狐科技截取了瑞士队运动员第五轮中推出的一次冰壶的运动轨迹,基本呈现直线,可以看出运动员的发球方式和击打策略,最终将俄罗斯奥运队的两个冰壶击打到圆心外,从而在这一轮奠定了优势,最终以4:1领先。
这背后是商汤科技通过SenseMARS火星混合现实平台打造的冰壶运动轨迹捕捉技术,结合实时渲染、虚实同步技术,精准还原冰壶轨迹,并将画面转化为视频流,同步输出至咪咕视频与现场大屏,从而让普通观众更好地理解了冰壶运动规律和比赛状况,也可让专业观众和解说嘉宾更好地分析运动员当前状态及投壶技战术等情况。
在不久前的自由式滑雪女子大跳台决赛中,中国选手谷爱凌最后一跳凭借完成向左偏轴转体1620的高难度动作夺冠。对普通观众而言,即使通过比赛直播的慢动作回放,也很难看清和看懂谷爱凌的一系列高速且复杂的空中动作。
借助百度智能云的“3D+AI”技术,就能够对谷爱凌的高空动作进行量化分析,比如她最后一跳的腾空高度最高达4.3米,落地远度则达20.5米,由此可见这项比赛的挑战之大。此外,通过“时空定格”技术还可以精准捕捉她的高速连续运动,能够看清她的每个翻转动作是如何完成的,并可以360度多角度观看,让观赛呈现更多趣味。
实际上,AI在赛事中还有很多应用。据统计,有超过九成冬奥项目迫切需要科技手段辅助训练和服务观赛,尤其是对于类似花样滑冰这样高速运动、变化繁复、规则复杂的项目来说,AI技术将辅助评委在比赛过程中更准确地完成评分工作。在2月12日速度滑冰500米决赛上,中国选手高亭宇夺冠且创下奥运纪录,他所在的中国速度滑冰就应用了英特尔的3DAT技术对运动员进行辅助训练。
北京冬奥会也让全球观众获得了全新的观看体验。作为百年奥运历史上的第一个全面的“云上奥运”,北京奥运会把赛事成绩、赛事转播、信息发布等都100%迁移到云上,成为全球首个全程4K直播的奥林匹克竞赛,是1964年奥运会开始卫星电视转播后又一次重大技术进步。国际奥委会主席巴赫评价称,第一次真正挖掘了云转播技术的潜力,也许这会书写冬奥会的部分历史。
机器人防疫做饭,虚拟人互动助力
在奥运村的餐厅和酒店里,不少科技力量也走红网络。近日一段在社交平台上引发关注的视频中,机器人发现一位运动员没戴口罩,于是停下“脚步”,发出“Please wear a medical mask(请佩戴医用口罩)”的提醒,让这位运动发出了“What”的惊讶。
这位北京冬奥会的巡检机器人,负责公共空间巡控、口罩检测预警、热红外测温、手部消毒等工作。在巡逻时,可以进行口罩监测,针对范围5米内未佩戴口罩的人员会发出佩戴口罩提醒,机器人头顶的消毒设备具有红外感应功能,可以自动喷出消毒液。
走红的还有冬奥智慧餐厅。碧桂园旗下千玺机器人集团研发的120台炒菜机器人24小时待命,不仅可以热饭还会炒菜,煲仔饭、汉堡等小吃快餐也不在话下,实现火候、起锅、炒制、调味、装盘等环节自动完成。餐厅也没有服务生,美食大多“从天而降”,通过上方的“云轨传输系统”能自动送达对应的餐桌上。此外,休闲餐饮机器人,如智能调酒机器人、冰激凌机器人、智能咖啡机器人等也吸引不少运动员前去互动拍照。
受疫情影响,无人化、智能化设备在冬奥会期间广泛使用,还有清洁机器人、物流机器人、引导机器人、安防机器人等服务在冬奥会各个地方。
除了实体智能机器人,不断出圈的数字虚拟人也来助阵冬奥会。在冬奥村,名叫“爱加”的志愿者随时提供咨询服务。这是科大讯飞开发的虚拟人,会中英日俄法西6种语言,赛事赛程查询、交通文化问答等都能快速回应。科大讯飞还联合央视派出了“虚拟家族”新成员——以央视记者王冰冰为原型打造的“3D虚拟冰冰”,进行冬奥知识的互动传播。
以《天气预报》主持人冯殊为原型的气象服务AI虚拟人“冯小殊”,也为各场馆参赛选手和观众实时播报冬奥观赛气象指数。这一虚拟人依托小冰框架数字孪生虚拟人技术打造,包括面容、表情、肢体动作等在内的整体自然度提升至与真人区分无几的程度,而整个训练周期仅为一周。冯殊在接受搜狐科技采访时连连感叹“科技进步实在太快了”,直呼“冯小殊”是“冯殊本殊”。
阿里巴巴也为冬奥会量身打造了一位名叫“冬冬”的数字人宣推官,其有着真人般的面部表情和肢体动作驱动,冬奥会期间会在淘宝直播间、央视《体坛英豪》等实时和运动员、网友进行即时互动,甚至以“脱口秀”的方式进行冬奥内容的趣味解说。
而对于国内2780万听障人士来说,AI手语主播为他们提供了共享奥运精彩的可能。冬奥会期间,百度智能云的AI手语主播会在央视电视直播的各类赛事中提供手语服务;腾讯打造的3D手语数智人“聆语”则在央视频上线,其手语可懂度达90%以上。
无论是机器人,还是数字人,在冬奥会之前都是备受关注和追捧的赛道。它们在冬奥会中的应用,成为点亮科技冬奥概念的注脚,也有望在赛事上发光发热之后,加速在日常生产生活当中的应用。