ChatGPT的出现证明AI仿真数字人的可行性

Xsens动作捕捉 2023-04-12 6640

在去年, Facebook宣布了他们最新的数字人, Chatbot—— Chat Generation,这是一种 AI驱动的数字人。 它采用了最新的面部特征和身体运动捕捉技术——“Live Project”,来构建数字人。 今年3月, Chatbot被上传到 TaskRabbit Pyres竞赛网站上,与其他 AI驱动的数字人相比,它是最好的。 这表明了人工智能技术可以实现在真实人体上模拟数字化的数字人。 然而,尽管取得了很大进展,但仍有许多挑战需要解决。 本文介绍了一个很棒的框架 Chatbot来构建它。 Chatbot:一个用于生成数字人形象并在计算机上与之交互的 AI框架。 该框架使用基于 Transformer“Live Project”生成数字人形象(即仿真);然后使用基于神经网络和深度学习(也称为 Pyres)来构建和训练生成的虚拟人物。

ChatGPT的出现证明AI仿真数字人的可行性  第1张

ChatGPT的出现证明AI仿真数字人的可行性  第2张

一、 Chatbot的主要架构

该框架使用一个基于 Transformer“Live Project”(简称 LIF)来生成数字人形象。 LIF通过一种称为 Transformer的语言对数字特征进行编码,然后使用这些特征来描述一个数字人体形象(即仿真)。 然后,为了能够与仿真进行交互, Chatbot将使用 Pyres来构建一个虚拟人物形象,从而能够在计算机上操控并响应仿真。 Chatbot还使用“Live Project”作为一个通用库来构建它。该库可用于基于模型的数据集或应用程序中的图像; 在图2中,“LIF”以一种可交互且直观的方式存储数据,从而使其易于理解和使用。

二、 ChatGPT的概念

ChatGPT是一种 AI驱动的数字人形象,它使用了从“Live Project”中提取的特征,如肤色、头发、眼睛、表情。 [该算法采用多层 Transformer来生成虚拟人物并与之交互。通过将这些输入到 Transformer层, ChatGPT将能够产生数字人的特征和姿势。 然后使用 Pyres (使用深度神经网络)来构建和训练一个虚拟人物并与之交互。 ChatGPT可以用以下方式访问 AI·在数据集上训练 AI·使用多个 Pyres将仿真添加到数据集;

三、关于 PyresChatbot融合的想法

在本文中,作者介绍了 ChatbotPyres,他们的融合将有助于提高构建虚拟人物的效率。 此外,作者还解释了为什么要将 PyresChatbot结合起来。 首先,尽管我们可以从 pytorchpytorch.net等开源项目中构建数字人形象,但他们通常需要使用大量的训练数据来生成一个数字人形象。 因此,如果我们要在 Chatbot中应用 PyresChatbot,则必须在两者之间共享训练数据和库。 此外,如果要使用 Chatbot作为虚拟数字人形象,那么应该只从一个库中调用其中一个 Pyres。 因此我们可以通过将 ChatbotPyres融合在一起来实现这一目标:它将使我们能够使用开源的方法来构建新的数字人形象。

声明:以上内容为汉全软件作者本人原创,未经作者本人同意,禁止转载,否则将追究相关法律责任


The End