全新 AI 助力的艺术工具、功能更新、面向创作者的 NVIDIA RTX 系统

动作捕捉 2023-05-06 3990


全新 AI 助力的艺术工具、功能更新、面向创作者的 NVIDIA RTX 系统  第1张

编辑注:本文引用自NVIDIA官方每周发布的 NVIDIA Studio 创意加速系列栏目的一部分,该系列旨在介绍一些特邀艺术家、提供创意提示和技巧,并展示 NVIDIA Studio 技术如何改善创意工作流。

无论是塑造能展露情绪的逼真角色,还是将简单的文本转换成图像,强大的 AI 技术正在彻底改变 3D 内容创作。在GTC 2023大会上,NVIDIA 创始人兼首席执行官黄仁勋先生在 GTC 大会主题演讲中宣布了一系列旨在简化创作者工作流的改进,包括将生成式 AI 与 Omniverse Audio2Face 应用结合使用。

NVIDIA Omniverse 作为创建和处理元宇宙应用的平台,已通过更新的虚幻引擎连接器、开放测试版 Unity 连接器和新的 SimReady 3D 素材实现进一步扩展。

全新 NVIDIA RTX GPU 采用 Ada Lovelace 架构,可为新一代笔记本电脑和台式电脑工作站提供强劲动力,从而满足 AI、设计和工业元宇宙的需求。

3 月版 NVIDIA Studio 驱动增加了对热门 RTX 视频超分辨率功能的支持,该功能现已可用于 GeForce RTX 40 和 30 系列 GPU。

在本周“NVIDIA Studio 创意加速”栏目中,Adobe Substance 3D 艺术和开发团队将介绍他们使用 Omniverse USD Composer(旧称 Create)合作创作动画短片 End of Summer 的过程。

Omniverse 更新大放异彩

即使创作者缺乏丰富的专业技术,他们依然可以借助专业的生成式 AI 工具提高工作效率。相较于传统资产开发,生成式 AI 只需少量时间和成本,即可将创意转变为现实,创造高质量、快速迭代的体验。

AI 驱动的 Omniverse Audio2Face 应用仅使用音频文件即可生成逼真的面部动画,可以取代以往乏味的手动创建过程,以提高 3D 艺术家为配角制作动画的效率。

< 视频: https://images.nvidia.cn/cn/youtube-replicates/-9OJZ1zOsDY.mp4 >

此应用的最新版本在质量、可用性和性能方面实现了显著升级,添加了新的headless模式和 REST API,使游戏开发者和其他创作者能够在数据中心运行该应用,并处理来自多个用户的大量音频文件。

NVIDIA 为 Unity 工作流开发的全新 Omniverse 连接器已进入公测阶段。创作者可以直接将 Unity 场景添加到 Omniverse Nucleus 服务器上,而且可以使用 DeepSearch 工具、缩略图、书签等平台功能。单向实时同步工作流可实现实时更新。

虚幻引擎连接器已推出最新版本,Omniverse 用户现在可以使用其中的 USD 导入功能导入骨架网格blendshape,并使用 Python USD 绑定在 Omniverse Nucleus 上访问场景 (Stage)。此版本还优化了导入、导出和实时工作流,并更新了软件开发套件。

此外,创作者还可使用超过 1000 种全新 SimReady 素材。SimReady 素材按照物体在现实世界的比例构建,拥有精确的质量、物理材质和重心,可以在 Omniverse PhysX 引擎中使用,以实现非常逼真的视觉效果和准确无误的运动轨迹。

三月版 Studio 驱动带来炫目超分辨率

尽管硬件的处理性能足够,但是 NVIDIA RTX GPU 用户观看的在线视频中,超过 90% 为 1080p 或更低的分辨率,并且放大后的画质还会进一步降低。

解决方案:RTX 视频超分辨率。此新功能利用 AI 提高通过 Google Chrome 和 Microsoft Edge 浏览器串流的任何视频的质量,现已在 GeForce RTX 30 和 40 系列 GPU 上可用。

全新 AI 助力的艺术工具、功能更新、面向创作者的 NVIDIA RTX 系统  第2张

单击图像,查看双三次上采样(左)和 RTX 视频超分辨率之间的区别。.

该功能提高了视频的锐度和清晰度,让用户即使在高分辨率显示器上,也能够以原生分辨率观看在线内容。

< 视频: https://images.nvidia.cn/cn/youtube-replicates/XA-tQpQqD7U.mp4 >

RTX 视频超分辨率功能现已在 3 月版 Studio 驱动上推出,即日起即可下载。

全新 NVIDIA RTX GPU 助力专业创作者

六个基于 Ada Lovelace 架构的全新专业级 NVIDIA RTX GPU 使创作者能够使用笔记本电脑和台式电脑满足超复杂工作负载的需求。

NVIDIA RTX 5000、RTX 4000、RTX 3500、RTX 3000 和 RTX 2000 Ada Generation 笔记本电脑 GPU 的性能相较上一代至高可达 2 倍。NVIDIA RTX 4000 小型 (SFF) Ada Generation 台式电脑 GPU 配备全新 RT Core、Tensor Core 和 CUDA Core,显存至高可达 20GB。

<嵌入视频:
https://images.nvidia.cn/cn/youtube-replicates/otVu5eINmA8.mp4 >

这些 GPU 搭载最新的 NVIDIA Max-Q 和 RTX 技术,并由 NVIDIA Studio 平台提供支持,在超过 110 个创意应用中实现了 RTX 优化。此外,NVIDIA RTX GPU 借助 NVIDIA RTX Enterprise 驱动实现更高级别的稳定性和性能,并可助力 Omniverse、Canvas 和 Broadcast 等由 AI 提供支持的 NVIDIA 独家工具。

使用这些笔记本电脑 GPU 的专业人士可以使用先进技术,例如:至高可将帧率提升至前一代 4 倍的 DLSS 3,以及用于实时协作和仿真的 Omniverse Enterprise。

搭载 NVIDIA RTX GPU 的全新笔记本电脑和台式电脑工作站将于本月起开始推出。

GTC 大会创意齐放

观看 GTC 大会中更多鼓舞人心的内容、专家主导的会议和不容错过的主题演讲,加速您今后的创意工作。

实时观看或点播观看关于 Omniverse、AI 和 3D 工作流的会议:

  • OpenAI 创始人 Ilya Sutskever 和黄仁勋先生的炉边谈话:今日 AI 与未来愿景
  • 生成式 AI 如何转变创意工作流:Adobe 的 Scott Belsky 和 NVIDIA 的 Bryan Catanzaro 的炉边谈话
  • 揭秘生成式 AI
  • AI 辅助 3D:生成式 AI 将如何简化虚拟世界构建
  • 使用 AI 虚拟形象自定义构建世界:The Little Martians 科幻项目
  • AI 助力、实时、无标记:动作捕捉的新时代
  • 3D 与超越 3D:3D 艺术家如何在元宇宙中创造副业
  • NVIDIA Omniverse 用户组
  • 加速虚拟制作工作流,制作广受好评的科幻短片

搜索 GTC 大会会议目录并查看“媒体和娱乐”和“Omniverse”主题,可以了解更多以创作者为中心的会议。

父女回家之旅

Adobe 的 Substance 3D 艺术和开发团队创作的动画短片 End of Summer 成功激发观众的强烈情感,这便是该团队创作的初心。

< 嵌入视频:
https://images.nvidia.cn/cn/youtube-replicates/GeIbTpo_c78.mp4
>

“我们想要通过艺术作品来唤起观众的情感,让他们感受到故事就在眼前发生,并让他们对故事有自己的体验。”团队成员 Wes McDermott 说道。

全新 AI 助力的艺术工具、功能更新、面向创作者的 NVIDIA RTX 系统  第3张

End of Summer 设计板。

End of Summer 是对Laika等定格动画工作室的致敬,起初是内部的 Adobe Substance 3D 项目,旨在实现两个目标。

首先,通过让一批新人艺术家投身创意工作,鼓励他们作为一个团队协同工作。其次,测试这些艺术家的工作流功能集,以了解它们在 USD (Universal Scene Description) 框架方面的潜力。

全新 AI 助力的艺术工具、功能更新、面向创作者的 NVIDIA RTX 系统  第4张

End of Summer 的早期概念版本。

该小组将创建素材的任务划分到多种最热门 3D 应用中来完成,包括 Adobe Substance 3D Modeler、Autodesk 3ds Max、Autodesk Maya、Blender 和 Maxon 的 Cinema 4D。他们的 GeForce RTX GPU 在视窗中解锁了 AI 降噪功能,以实现快速的交互式渲染和 GPU 加速滤镜,从而加速和简化材质创建。

“我们很快就发现了 USD 的强大之处,它不仅是一种导出格式,也是一种构建素材的方法。”McDermott 说道,“USD 使团队中的艺术家能够使用他们最熟悉的任何 3D 应用。”

Adobe 团队主要使用 Substance 3D 素材库的材质、模型和灯光来创建工作室环境。所有纹理均在 Substance 3D Painter 中应用,其中 RTX 加速的光线和环境光遮蔽烘焙片刻内即可完成素材优化。

然后,团队将所有模型导入到 Omniverse USD Composer(旧称 Create)中,所有人同时在其中优化和组装素材。

“当时也是在疫情期间,我们都被隔离在家中。”McDermott 说道,“这个项目让我们可以进行团队协作,有助于我们加强沟通并激发创造力。”

“在布置和设置场景布局以及了解 USD 工作流和协作方面,NVIDIA Omniverse 是一款出色的工具。我们使用绘画和 NVIDIA PhysX 碰撞工具来放置素材。”— Wes McDermott

全新 AI 助力的艺术工具、功能更新、面向创作者的 NVIDIA RTX 系统  第5张

在 Omniverse USD Composer 中加速场景合成,并实时实现 3D 场景的组装、仿真和渲染。

最后,艺术家们将场景导入至虚幻引擎,以作为添加光照和渲染所用的场景 (Stage)。

全新 AI 助力的艺术工具、功能更新、面向创作者的 NVIDIA RTX 系统  第6张

在虚幻引擎中进行最终场景编辑。

McDermott 强调了硬件在团队工作流中的重要性。他说道:“Substance Painter 中的烘焙器采用 GPU 加速,并且从 NVIDIA RTX GPU 中受益。此外,我们也利用虚幻引擎和实时渲染完成大量工作。”

如需了解关于此工作流的更多信息,请观看 GTC 大会会议:3D 艺术走向多人模式:Adobe Substance 团队利用 Omniverse 完成 End of Summer 的幕后故事。免费注册。

全新 AI 助力的艺术工具、功能更新、面向创作者的 NVIDIA RTX 系统  第7张

Adobe Substance 3D 团队负责人兼艺术家 Wes McDermott。

The End