ARKit 3来了,动作捕捉和人物遮挡功能将是最大亮点

Xsens动作捕捉 2022-10-04 12487

在近日的公司年度WWDC开发者大会上,Apple公布了ARKit 3,它是用于在iOS上创建AR应用程序的最新开发SDK。ARKit 3现在提供了对场景中人物的实时身体跟踪以及遮挡,使AR对象可以非常逼真的出现在人物的前后。Apple还推出Reality Composer和RealityKit,使开发人员可以更轻松地构建增强现实应用程序。

在圣何塞WWDC的开幕主题演讲中,Apple发布了ARKit 3。 ARKit最早在2017年推出,是一套用于在iOS上构建AR应用程序的SDK工具。

从一开始,ARKit就提供了计算机视觉跟踪功能,允许iOS主流设备跟踪他们在空间中的位置,以及检测地面或平台等平面平面,可用于将虚拟物体放入场景中。使用ARKit 3,目前已经实现了支持动作捕捉人物遮挡

人物遮挡

ARKit3 - 人物遮挡

通过计算机视觉,ARKit 3可以了解人们在场景中的位置,并且根据物体与相机的相对位置来呈现在人身体的前后。

动作捕捉

ARKit3 - 姿态追踪

通过获取人们在场景中的位置以及身体的移动,ARKit 3可以实现跟踪人物的身体姿态,并且可用于将人的动作转换为另一模型的动画,或用于与场景中的物体交互等。

苹果的AR头显没有公开,但在ARKit 3中列出了一些改进:

  • 同时使用前后摄像头
  • 动作捕捉
  • 更快的参考图像加载
  • 自动检测图像大小
  • 视觉连贯性
  • 更强大的3D物体检测
  • AR Quick Look中的视频录制
  • AR Quick Look中的Apple Pay
  • 多面追踪
  • 协作会议
  • AR Quick Look中的音频支持
  • 检测到最多100张图像
  • HDR环境纹理
  • AR Quick Look中的多模型支持
  • AR用户教学界面

RealityKit

ARKit 3来了,动作捕捉和人物遮挡功能将是最大亮点
RealityKit

基于ARKit 3,Apple还推出了RealityKit,使开发人员更容易在iOS上构建增强现实应用。

据苹果的描述,RealityKit听起来更像一个小型游戏引擎,包括“照片级别逼真的渲染、相机效果、动画和物理等功能。

苹果希望通过 RealityKit ,iOS开发人员无需再学习Unity或虚幻引擎等游戏引擎工具,RealityKit将是iOS开发人员更熟悉和更简单的选择。

苹果表示:“RealityKit使用逼真的基于物理的材料,环境反射,地面阴影,运动追踪,场景模拟等技术将虚拟内容与现实世界无缝融合,使虚拟内容几乎与现实高度相似。”

RealityKit使用Swift API,还支持在iOS上创建共享AR体验,提供开放的网络解决方案。

苹果CEO库克表示,在未来几年将会加大在AR领域的投入,因此ARKit 3、RealityKit 和 Reality Composer也将继续巩固苹果在移动AR方面的地位,这些技术和秘密研发中的AR眼镜将构建一个充满前景的增强现实生态体系。

The End