苹果发布ARKit 3，现场演示《我的世界AR》，支持真人抓取、全身动捕

文/VR陀螺 案山子

AR游戏原来还能这么玩。

美国时间6月3日上午，苹果WWDC 2019在美国圣何塞召开。在两个半小时的发布会接近尾声时，苹果终于公布了AR的最新动态，包括3大亮点——Realitykit、Reality Composer以及全新版本的ARKit3。苹果在现场用Mojang的《我的世界AR》游戏进行了演示，效果非常非常惊艳（后附视频）。

• Realitykit

第一个是Realitykit，由于目前要实现复杂的3D环境需要对3D建模有深度了解，而Unity、Unreal开发的游戏市场发展也极快，但是很多开发者可能并不熟悉AR场景的开发。Realitykit可以实现摄影级的真实渲染、环境和镜头特效。

• Reality Composer

这是一个独立的用于建模的App，在App中可以对素材进行编辑、拖拽、动画创造，在这个工具中可以很快很容易地建立互动的环境，让Xcode和iOS 应用中增加AR体验变得更加简单。

• ARKit 3

ARKit 3进行了全新的升级，其中包括两个主要的功能。

1、People Occlusion。可以实时将人物抓取出来，从现场的演示来看，可以将人抓取到虚拟环境中，与其他的虚拟物体实现前后遮挡关系。

遮挡是AR中非常难实现的效果，也就是前带后关系。之前很多AR效果都是简单的叠加，难以跟现实深度融合，所以体验效果并不好。而要做到遮挡，预先对环境扫描建模是比较常见的做法，Magic Leap等都是通过这种做法，包括微软的Kinnect也能够做到，预先扫描环境后，预设虚拟物体的位置，便能够实现真人和虚拟物体之间的前后位置遮挡关系。

但苹果但做法似乎并不是对现实环境建模，而是采取了将现实中的人抠到虚拟环境中。

第二是动作捕捉，通过手机摄像头可以实时捕捉人体全身的动作，包括手臂、躯干等等。

演示视频（中间确认了两次是否在录制，重点后半部分）：

《我的世界AR》——AR游戏新的可能性

在展示ARKit 3最新功能的同时，苹果邀请了《我的世界AR》版游戏的开发上Mojang上台进行演示，该游戏将于今年夏季上线。

《我的世界AR》现场演示视频：

在该视频中VR陀螺注意到几个关键点：

1、演示分为两部分，开发者中一人用手机体验，另一人使用平板实时直播所看到的画面，即多人同空间AR体验。在ARKit 2.0发布时就展示了该功能——即 多点连接框架功能，iOS 12系统的手机可以通过WiFi、蓝牙或其他共享方式发送至另一台设备，从而达到多人连接。

在ARKit 3的演示中，可以看到桌面生成的我的世界的建筑物非常稳定，且另一个玩家的所有动作都能够实时反馈到另一个玩家的设备中。

2、真人动作捕捉，并将动作实时在虚拟角色中表现出来。开发者所使用的角色在游戏中招手的动作都能同步给虚拟角色，不过从演示来看，其中仍然存在一定的延时。

3、人物抓取。桌面的游戏演示结束之后，游戏巧妙地切换到更大范围的大场景中，在半空中生成平面后，下沉仿佛进入到地下城一般，而其中，真人进入到游戏场景，完全融入到游戏中，并且能够继续在游戏中进行建造。虽然真人的边缘处理、画面依然存在抖动等问题，但考虑到是基于移动端实现的效果仍然让人觉得惊艳。（体验过程中，地板上铺了带有纹理的地毯来辅助追踪。）

至今为止，大部分移动端AR游戏并没有真正将AR的特性发挥出来，其主要利用的是现实叠加以及空间特性，与环境融合的元素主要体现于虚拟物体与平面的贴合度、阴影、灯光效果等，而空间感则主要体现在观看角度、远近距离的变化，因此大部分的内容均为类似《Pokemon GO》这种与LBS地理环境结合的游戏或者《悠梦》这种利用空间的游戏。

从《我的世界AR》的演示来看，ARKit 3新功能为AR内容的研发带来了更多新的可能性。

诸如社交体验，由于人的动作能够实时呈现在虚拟人物中，移动端社交的交互，虚拟角色呈现的丰富度都将大幅提升；而虚拟场景和真实人物的融合，也让AR游戏的沉浸感更深一层。

以上是WWDC2019上关于AR的重点内容，VR陀螺也将持续跟进苹果AR的相关进展。

以下为发布会其他信息概览：

1、Apple TVOS 重新设计了主屏幕， 强调用户个性化和娱乐性，将支持多用户列表管理，以及Apple Music的个性化定制，提供Apple Music 五千万首歌单。Apple Arcade on tvOS 支持Xbox、PS4 游戏手柄。

2、Apple Watch除了一如既往 的追踪运动情况，保持用户身体健康外，表盘表带增多，可定制主题，并添加了计算器、音频书籍、语音备忘录等功能，还将支持记录和跟踪月经周期。

新的Apple Watch将不再依赖手机，应用可在Apple Watch独立运行， 且用户可直接在Apple Watch上浏览App Store，下载、支付、运行应用。扩展的Runtime API - 应用程序可以保持活动读取数据的时间更长。

3、当前iOS 12用户满意度为97％，安装率为85％，而即将发布的iOS13，将拥有更快的解锁速度，面部ID解锁速度提升30％，应用程序的打包方式也将不同，体积减小50％，更新将减小60％，从而提高App启动速度。

iOS 13还公布了黑暗模式，黑暗模式拥有“精致纹理”，并不是纯黑色。更新版的地图增加了全景街景功能，可以实现点到点的移动。2019年底之前地图应用将覆盖全美国，明年登陆其他国家。

街景地图视频：

4、iOS 13将支持“sign in with Apple”来登陆第三方软件，从而保障用户的个人隐私。苹果允许应用方请求信息，但用户可以选择隐藏自己的电子邮件，苹果会生成一个随机邮件地址。且iOS 13中的隐私功能可以选择“仅一次”位置分享，应用无法使用Wi-Fi或蓝牙“推断”位置。

5、iPad OS将支持使用更方便的分屏显示、文件管理、USB设备和SD卡的读写。多窗口功能可将两个Microsoft Word文档并排，iCloud Drive支持文件夹共享，本地支持SMB文件共享，Apple Pencil的延迟从20ms提升至9ms。

6、最新台式电脑Mac pro，弥补了苹果的台式电脑空缺。该电脑配置非常高，支持模块化，用户可以自行配置自己的电脑，全不锈钢机身，主机底座搭配万向轮，方便搬运。

Mac Pro 5999 美元起，6K 显示器4999 美元起，支架199 美元，都将于今年秋季上市。

电脑配置：

CPU：最高28 核Intel Xeon，300瓦功率，1.5万亿浮点运算内存

GPU：Radeon Pro Vega II 和 Radeon Pro Vega II Duo 可选，可以选择两块一起上

内存：1.5TB ECC 内存

显示器：32 英寸LCD，6K Retina，分辨率6016 x 3384、2000 万色彩，支持P3 广色域、10 bit 色彩、HDR、广角显示方式，具备抗反射涂层；

接口：两个全功能 Type-C 接口；两个 USB 3.1， 一个 3.5mm 耳机接口；

扩展：支持8 个PCIe 插槽，以及若干单通道双通道I/O Card 等，包含两个10GB 以太网端口。

新功能“Sidecar”可使iPad作为Mac的第二个显示器。