在元宇宙召唤栩栩如生的宠物，上科大提出ARTEMIS系统

QQ宠物曾在21世纪初风靡互联网，成为许多人的回忆。随着元宇宙世界到来，你是否想拥有更加栩栩如生的虚拟宠物？

满足实时渲染及动作合成的情况下，可实现VR中的可交互的虚拟宠物。本文图片均为受访者 供图电影《少年派的奇幻漂流》中，老虎理查德·帕克带给观众奇妙的体验。创建这一由电脑生成的(Computer-generated Imagery, CGI)数字化动物，需要艺术家的大量劳动，包括创建效果真实的数以万计的毛发，以及制作自然的动作动画序列。除此之外，即使拥有着制作完成的模型和大量的计算资源，实时渲染如照片般真实的动物图片依然是一项无法完成的任务。上海科技大学信息学院VRVC实验室成员罗海旻表示，这意味着传统的CGI动物模型并不适合元宇宙场景——要求实时的真实渲染、人与动物实时互动。

为了将动物带入虚拟世界，罗海旻所在团队提出了ARTEMIS系统，一个崭新的由神经网络建模的渲染框架，该渲染框架拥有着同时生成虚拟宠物外观和动作的能力。ARTEMIS的核心在于提出了一种全新的基于神经网络的图像生成(Neural-generated Imagery, NGI)动物模型，来替换传统的CGI模型。该工作已被计算机图形学顶级会议ACM SIGGRAPH 2022接收，将于今年8月展示。

与传统的离线动画和渲染的系统相比，ARTEMIS支持可交互式的动作控制、真实的动作动画和高质量的毛发动物渲染，并能实时呈现。ARTEMIS团队更进一步将其集成到OpenVR框架中，以支持常见的消费级VR显示器，例如HTC VIVE系列等。由此，戴上VR头盔的人可以在虚拟场景中获得与动物的交互体验，用户可以在虚拟世界中驱使动物前往任意的地点，也可召唤在远处的虚拟宠物前来，让它坐在你的身边，抑或是向它投喂。

在高质量数据集上，NGI动物支持各式各样的动物与动作。罗海旻介绍，传统CGI动物模型需要模型师参考真实动物的照片或视频，来创建由数以万计的毛发纤维组成的动物皮毛。这一过程通常要求熟练的建模技巧，以及大量的劳动。另一方面，将这样复杂的模型渲染成为高质量图片同样耗时。除渲染之外，如何实现交互式地操控这样的模型，并且保持高度真实性是另外一个挑战。总的来说，传统的CGI模型不适用于虚拟世界中的数字化动物，因为它们要求实时的渲染速度和实时的交互效果。

团队将系统集成到OpenVR框架中，以支持常见的消费级VR显示器。为了解决这一问题，在神经建模和渲染方面，ARTEMIS提出了全新的神经网络图像生成方式，Neural-generated Imagery (NGI)来建模虚拟动物。NGI的提出是受到近年神经辐射场（NeRF）以及其后续扩展工作的启发。通过提供在多视角下渲染的带透明度视频和相应一系列动作序列下的训练，ARTEMIS即可将传统的CGI动物资产（包括骨架和蒙皮绑定）转换成基于体素的高密度神经网络表示。为了确保渲染质量，ARTEMIS采用了一个卷积神经网络作为渲染器，来进一步增强毛发纹理细节。整个渲染流程为可微分渲染，并且支持对动物动态毛发进行实时的高质量自由视角渲染。

除神经网络建模与渲染外，ARTEMIS还提供了真实动作合成模块，从而能让人在虚拟世界中控制虚拟动物。“我们通过建立一套多视角的动物动作捕捉系统，采集到大量多视角视频及关键点运动数据并提取真实的动物动作序列。在此基础上，ARTEMIS结合先进的神经网络状态机技术，让虚拟动物能够根据使用者的指令做出相应的动作，就像在真实世界中那样。”罗海旻说。

(本文来自澎湃新闻，更多原创资讯请下载“澎湃新闻”APP)