热点 苹果在年度开发者大会展示ARKit 6工具包的改进
6月6日至6月10日苹果线上召开首次展示了ARKit 6工具包的改进。使用该工具包可以在iOS设备上构建AR应用。虽然苹果还没有透露研发(甚至没有证实)AR头戴设备,但从ARKit工具包上可以看出苹果公司对待AR是认真的。这款用于在iOS设备上构建AR应用的开发工具包,苹果公司从2017年以来就一直向前推进着。
在今年的年度大会上,苹果公司发布了最新版本的ARKit 6,改进了核心功能,开发者可以为iphone和ipad(最终可能是头显)开发更好的AR应用程序。在“发现ARKit 6”开发者分会上,苹果ARKit工程师Christian Lipski概述了该款产品。
更强的动作捕捉功能
ARKit包含一个Motion Capture功能,可以在视频帧中跟踪人物,为开发人员提供一个“骨架”,可以预估人物头部和四肢的位置。这为开发人员创建应用程序提供了方便,将增强内容叠加到人身上,或者针对人物做相对运动(也可以用于遮挡效果,将增强内容放置在人身后,以更真实地嵌入到场景中)。
Lipski说,在ARKit 6中,动作捕捉功能得到了“一整套更新”,包括改进的2D骨骼跟踪,可以估计捕捉对象两只耳朵的位置(对面部滤镜、试戴AR眼镜以及涉及头部的类似功能很有用))。
至于3D骨骼,它可以根据深度估计姿态。苹果公司承诺,即使用户被摄像头或其他物体的边缘遮挡,他也可以更好地跟踪,抖动更少,时间一致性更强,稳健性更强(尽管其中一些增强功能只在iPhone 12及以上版本上使用)。
摄像头的改进
当ARKit 6与AR应用程序一起使用时,开发人员可以对设备的摄像头进行更多的控制。
开发者现在可以在iPhone 11及以上以及最新的iPad Pro (M1)上以30FPS的速度访问最高达4K的实时帧。开发者仍然可以使用之前的模式,也就是使用分辨率较低,但较高的帧率(60FPS)。Lipski说,开发者应该仔细考虑使用哪种模式。4K模式可能更适合用于视频预览或录制的应用程序(比如虚拟制作应用程序),但分辨率较低的60FPS模式可能更适合响应性的应用程序,比如游戏。
与AR应用程序中的高分辨率视频类似,即使AR应用程序正在高频使用相机,开发者现在也可以拍摄全分辨率的照片。这意味着他们可以提取出1200万像素的图像(至少是在iPhone 13上)保存或在其他地方使用。这对于AR应用来说是非常棒的,因为捕捉照片是体验的一部分。Lipski说,例如,一款应用程序可以引导用户对物体拍照,然后用摄影测量技术将其转换成3D模型。
ARKit 6还让开发人员在AR应用程序使用它时对相机有更多的控制。开发人员可以根据需要调整白平衡、亮度和焦点等内容,并可以从每帧传入的帧中读取EXIF数据。
位置跟踪锚定
ARKit还包含Location Anchors,可以在选定城市为AR提供街道跟踪,例如,增强现实方向。苹果正在将这一功能扩展到更多城市,包括加拿大的温哥华、多伦多和蒙特利尔;日本福冈、广岛、大阪、京都、名古屋、横滨、东京;和新加坡。今年晚些时候,该功能将进一步扩展到新西兰的奥克兰,以色列的特拉维夫-雅法;法国巴黎。
平面锚定
平面锚(Plane Anchor)是一个跟踪平面对象的工具,如AR会议中的桌子,地板和墙壁。在ARKit 6之前,平面锚的起源会随着平面发现的更多内容而更新(例如,移动设备以显示比之前摄像头看到的更多的桌子)。如果原点在第一次放置后旋转,这可能会使增加的对象很难锁定在平面上。在ARKit 6中,无论平面的形状如何变化,原点的旋转都保持不变。
ARKit 6将与iOS 16更新一起发布,目前iOS 16已进入测试阶段,预计将于今年秋季向公众发布。
ARinChina招聘