WAIC 2022:元宇宙直播能带来哪些新机遇?
挥手、转身、眨眼、挑眉……体验者只需站在普通的摄像头前,就能被快速捕捉识别面部表情和肢体姿态,并在前方展示屏上的二次元卡通数字人分身上实时呈现、精准复制。
9月1日-3日,在2022世界人工智能大会(WAIC 2022)元宇宙核心展区,快手虚拟演播助手(Kuaishou Virtual Studio,KVS)收获了颇高人气,引发行业人士、参展观众的驻足。
“太好玩了”、“动作捕捉很灵敏”,展台前的参观者们表示。
快手虚拟演播助手演示
“这只是快手虚拟演播助手最基础的功能,通过实现摄像头动作捕捉技术,突破场景设备等限制,能快速便捷的实现虚拟人驱动直播;如果对数字人驱动的品质有更高要求,可以通过快手虚拟演播助手连接专业的动作捕捉设备。快手虚拟演播助手能够满足不同成本下的数字人直播的需求。”快手Y-tech AI技术中心负责人万鹏飞在现场向观察者网等媒体介绍。
快手虚拟演播助手是一款面向PGC(专业内容生产)的虚拟人驱动及开播工具,集成3D虚拟人和虚拟场景的一站式能力、内置自研摄像头驱动算法、适配多种穿戴式全身动捕硬件设备、提供特效和互动玩法、支持多平台直播推流,帮助客户打造元宇宙直播间。
快手相关负责人表示,借助短视频和直播领域的长期技术积累,快手虚拟演播助手此次亮相WAIC,正是着眼于将传统直播间变成“元宇宙直播间”,为直播电商、虚拟拍摄、智能文娱等带来新的机遇。
本届WAIC主题是“智联世界 元生无界”,元宇宙作为虚实融合的下一代互联技术,成为大会主角之一。
观察者网在大会现场看到,元宇宙展区集结了快手、中国联通、网易、影眸科技、视辰信息科技(视+AR)等多家企业。
快手虚拟演播助手目前有哪些应用场景和落地案例?快手在数字人领域还有哪些新应用?
在大会AI领Show论坛上,万鹏飞介绍了快手虚拟演播助手、老铁智播间、移动端混合现实引擎三大应用,以及数字人及XR制作平台、快手虚拟世界互动平台两大平台的优势和布局。
万鹏飞介绍,快手虚拟演播助手作为一款面向“中之人驱动”的数字人一站式直播工具,面向真人表演驱动数字人场景,具备三大优势:一是支持光学、惯性、摄像头各种不同类型的捕捉方式,满足不同层次的主播需求;二是内置了独家的各种特效,3D场景滤镜,并支持推流高清视频到包括快手在内的各个视频平台;三是打通了快手直播间,让主播可以和观众产生更多的基于虚拟世界的互动玩法。
不同于快手虚拟演播助手,“老铁智播间”则是一款为客户提供自动化数字人直播及视频制作能力的产品,具备三大特点:一是没有中之人驱动,全靠AI驱动,可以7×24小时直播;二是便捷的管理平台,可以低门槛使用,降低运营成本;三是覆盖直播、播报、数字员工等丰富应用场景。
而作为行业领先的手机端AR/MR系统,快手“移动端混合现实引擎”可以让用户在普通手机上就能体验到以往在高端设备上才能体验到的各种AR/MR效果,机型覆盖率非常高。这秉承了快手一直以来所倡导的技术普惠理念,覆盖高、中、低端手机机型,同时,该系统不仅可以应用于身体、室内,也可以应用在室外、街区、景区等各种不同尺寸的空间环境。
万鹏飞在现场展示了快手移动端混合现实引擎在实时场景感知和三维重建、自动识别建筑物遮挡等领域的虚实融合技术和效果,在试穿、试戴、试妆等场景的应用价值,以及大空间场景的AR、MR效果与用户体验。
此外,“数字人及XR制作平台”通过技术、美术的有机结合和联合优化,为客户提供一站式数字人及XR制作服务。“快手虚拟世界互动平台”则是支撑快手在虚拟世界互动领域各种应用的统一的PaaS平台,满足展览、社交、游戏等多种场景需求。
在数字人及XR赛道大热趋势下,快手究竟有何优势?
万鹏飞认为,一是平台优势,快手DAU超过3.47亿,其中泛二次元内容消费的DAU过亿,在用户需求洞察和价值挖掘方面优势显著;二是容易落地,快手不仅为客户提供了多种门槛的解决方案,满足其不同阶段需求,也实现了用户设备的高覆盖率,让普通用户通过现有设备就可以参与其中;三是综合实力储备,快手为客户提供了从建模到内容制作的一站式服务,并在技术和美术结合、软硬件结合方面经验丰富,做到全链路联合优化,在同样成本情况下,为客户提供更加优质的服务。
AI领Show论坛
在日前举行的快手StreamLake发布会上,快手技术副总裁、AI技术及主站技术负责人王仲远发布了视频AI的三大类解决方案:智能视频创作,智能视频理解,数字人及XR,以助力各行各业客户实现视频化、智能化升级,开放100多种产品功能以及快手研发的1500个AI的能力。
除了展台互动和技术分享等环节外,快手在本届WAIC上还参与了“携手同行 共建元宇宙”新平台启动仪式,这意味着该公司与上海地区的合作再一次升级。
2021年4月,快手曾与上海市政府新闻办公室达成战略合作,在城市推广、产业合作、政务宣传、媒体融合、人才培养等领域展开全方位合作。本次设立的快手上海研发中心,将作为快手在长三角地区的重要布局,承载快手人工智能技术研发、核心产品研发、游戏项目制作、创新产品孵化等重要功能。