高鲁棒性动捕技术服务影视虚拟摄制高质量应用
丨>>>> 【本期内容】 <<<<丨
?网易互娱AI Lab提出高鲁棒性光学动捕数据自动清洗/解算方法
?SIGGRAPH展示基于深度学习模型的数字人制作系统最新进展
?USD ALab为影视制作人员提供满足互操作的场景资源和纹理下载服务
?DIT Pack+集成软件升级包简化DIT工作流程
【点睛】
随着近年来影视虚拟摄制技术的兴起与动作捕捉方案成本的降低，大空间定位和多人协同虚拟摄制的需求日益增多，对动捕效率与数据精度均提出了更高要求。动作捕捉凭借其真实性和高效率替代了传统关键帧制作方式，其中光学动作捕捉具有精度高、采集绝对坐标、支持同时捕捉多个对象等特点，因而成为影视虚拟摄制的主流方案。
我国技术团队基于深度学习网络模型提出了高鲁棒性的光学动捕系统数据自动清洗与解算方法，克服了传统方法过度依赖参考标记点质量的问题，有效提升了技术品质、摄制效率和实用性等，将促进虚拟摄制方案在影视行业高质量应用。
网易互娱AI Lab提出高鲁棒性光学动捕数据自动清洗/解算方法
近日，网易互娱AI Lab提出了一种针对光学动作捕捉数据的自动清洗和解算方法，可直接从包含错误和噪声的原始标记点（Raw Markers）中预测得到精确标记点（Clean Markers）和骨骼动画数据。网易互娱AI Lab与清华大学联合对该方案进行了系统性技术梳理，并撰写论文《动捕解算器：用于光学运动捕捉数据的神经解算器》（MoCap-Solver：A Neural Solver for Optical Motion Capture Data），该文章已被SIGGRAPH 2021收录。
光学动捕最大的缺陷之一是动捕数据清洗工作量巨大，需依赖人工完成，在整个流程中成本占比最高。针对这一实际生产流程中的痛点，育碧研究院曾在2018年提出了一种基于深度人工神经网络的光学动捕数据自动清洗和解算方法，但该方法高度依赖粘贴在演员躯干上的少量关键标记点的质量，对动作细节的保真度也存在一定问题，无法满足实际生产要求。
对此，网易互娱AI Lab提出了一种全新的算法框架，设计了一个自编码器（MoCap-Encoders），包含骨骼模板（Template Skeleton）、标记点配置（Marker Configuration）和动作（Motion）三个单元，分别对应演员的体型、标记点在动捕服装的分布以及演员动作。
基于大量动捕数据训练后，该自编码器可将上述三种数据编码成低维空间的隐向量，也可从隐向量中恢复出对应的原始数据；之后再训练从原始标记点预测包含三个单元隐向量的网络（MoCap-Solver），并根据预测的隐向量解码对应的数据，其中的动作数据就是需解算的骨骼动画，再通过前向动力学（Forward Kinematics, FK）和线性蒙皮运算（Linear Blend Skinning, LBS）即可计算出对应的清洗后的精确标记点。
此外，AI Lab还从真实数据中训练了一个对关键参考标记点的质量进行评估的深度人工神经网络，利用该网络挑选原始标记点中参考标记点可靠性高的帧进行刚体对齐，有效避免了算法精度过度依赖少量参考标记点质量的问题，有效提升了算法的鲁棒性。
SIGGRAPH展示基于深度学习模型的数字人制作系统最新进展
2021年度SIGGRAPH实时技术活动（Real-Time Live!）于8月10日在线上举办，现场展示了最新实时技术案例，主要包括Pinscreen用于VR的标准化数字人制作系统和英伟达的智能驱动数字人制作系统I am AI。
美国数字人制作公司Pinscreen使用基于GAN模型创建数字人，输入GAN的图像可以是微笑的人物或在照明条件极差的情况下拍摄的人物，可生成具有中性表情的高质量人脸纹理模型，并使用更均匀的漫反射照明渲染皮肤纹理，使用户能够直接在VR显示设备中与数字人互动。
英伟达的智能驱动数字人制作系统I am AI不是一个新的研发项目，而是一系列关键技术研究项目的集成，这些项目已作为数字人制作流程的不同部分结合在一起，使用了英伟达Omniverse的多个工具，许多部分都有单独的SDK，用于在生产环境中协同工作。英伟达团队将基于深度学习系统，通过静态图像、音频或文本输入合成动画数字人。
USD ALab为影视制作人员提供满足互操作的场景资源和纹理下载服务
澳大利亚媒体娱乐技术公司Animal Logic近日发布了一个可实现的通用场景描述（USD）场景USD ALab，是从全局资源到镜头输出的完整场景描述，包括引用、实例分割、程序集配置、技术变体、全局资源和基于镜头的覆盖重写等。
USD ALab有两种下载服务，包括指导文档和两套纹理。第一种下载服务包含ALab场景资源，来自实际的制作资源并符合互操作要求，可加载到任何支持USD的工具中。第二种下载服务是一个可选的附加“产品渲染纹理包”，提供用于产品样式渲染的UDIM（多象限贴图映射技术）4K OpenEXR纹理。
通用场景描述（USD）最初由皮克斯公司开发，为VFX和动画工作室的制作流程提供一种3D数据在不同数字内容创建应用之间实现互操作的方式。制作CG电影/游戏的流程中通常会生成、存储和传输大量3D数据，即“场景描述”。建模、着色、动画、灯光、特效和渲染等流程中的协作应用都有专属的场景描述，分别适用于特定的需求和工作流程，其他应用不可读也不可编辑，USD在这种状况下应运而生。USD能够描述各部门工作且不影响工作，涉及模型、动画、材质、灯光、相机及制作环境中其他必备环节，增强了多部门协作过程中的可预测性，制作人员可把更多精力专注于内容创作，不必再担心数据管理及互操作的问题。
DIT Pack+集成软件升级包简化DIT工作流程
美国软件公司Assimilate近日宣布升级由三个应用程序组成的软件包Digital Imaging Technician Pack+，通过高效精简的工作流程简化DIT（数字影像工程师）的日常工作。
该软件包由用于实时调色的Assimilate Live Looks、用于摄影机媒体导出和备份的Hedge以及用于每日样片转码与报告的Assimilate SCRATCH三个应用程序组成。
工作流程从Live Looks开始，DIT对来自多个摄像机的内容进行实时调色、添加视觉效果，如绿幕背景替换和纹理效果，这些效果可在SCRATCH中转码到样片中。每次保存调色时，无论是由用户输入还是来自摄影机的实时SDI信号的所有元数据都以可读文本文档和XML的形式保存，适用于在视效环节进一步制作。Hedge完成备份流程后，可自动在SCRATCH中新建时间线并导入备份好的素材，DIT无需手动导入。所有调色和元数据都存储在易于使用的文件夹中，以便交付给视效和后期环节。
End
