苹果为ARVR招聘全身动捕CV软件工程师

（映维网Nweon 2022年12月12日）对于AR/VR一体机，从裸手交互到全身动捕，计算视觉+机器学习（CV+ML是相关解决方案的重要支柱。现根据映维网的科技大厂招聘信息搜索，有望在2023年发布首款AR/VR设备的苹果正在加大对这方面人才的招揽力度。

苹果位于加拿大魁北克和美国库比蒂诺等地方的团队一直有在稳定地招揽AR/VR方向的CVML人才。现在，映维网发现苹果慕尼黑团队同样开始招揽这方面的人才。

德国慕尼黑是苹果在欧洲的一个重要科研中心。这里的计算机视觉（CV）团队慕尼黑视觉实验室主要是探索基于深度学习的CV应用。日前，苹果慕尼黑视觉实验室发布了一份面向AR/VR的“软件工程师”职位申请。

苹果写道：“加入我们的慕尼黑视觉实验室，加入我们的身体追踪技术软件工程团队。我们正在寻找一位热情的软件工程师来帮助我们开发AR/VR实时动捕算法的框架，而这将改变人们的交流方式。作为我们团队中的软件工程师，你将与计算机视觉和机器学习专家密切合作。”

这家公司进一步在岗位描述中指出：“我们正在寻找一位富有创意的软件工程师来设计、实现和完善随iOS和其他苹果操作系统一同发布的框架。你将会接触到涉及图像处理、实时计算机视觉、机器学习算法和增强现实的算法管道。”

综合苹果招聘官方页面和LinkedIn等招聘网站，以及映维网的科技大厂招聘跟踪，这似乎是慕尼黑团队首次招揽AR/VR方向的计算机视觉工程师。

有趣的是，苹果在美国库比蒂诺有一支名为“Body Technologies（身体技术）”的团队，而他们同样有稳定招募AR/VR方向的CVML人才，并且主要探索ARKit的Motion Capture动捕功能。

具体来说，手持ARKit设备的用户可以对准特定人员，而Motion Capture功能可以通过摄像头实时捕捉对方的人体运动。通过将身体位置和运动理解为一系列的关节和骨骼，这可以允许应用程序实现一系列的效果。例如，将真人的动作映射至一个数字假人。

当然，对于慕尼黑团队招募的实时动捕算法工程师，不确定这个岗位是否同样瞄准ARKit的Motion Capture动捕，还是说针对其他方面。

实际上，AR/VR计算机视觉+机器学习可以应用到一系列的领域，比如说支持丰富表情感知的面容识别；启用裸手交互的手势识别；以及用于Avatar的全身动捕等等。

说到Avatar全身动捕，这是AR/VR行业的一个有趣课题。

尽管AR/VR一体机的内向外追踪的性能已经足以在头显、控制器和双手追踪方面取代外向内追踪，但由于视场覆盖问题，AR/VR一体机的传感器难以感知下半身动作，所以全身动捕一直以来都是依靠外向内的追踪设置来实现。随着头显设备的进一步轻薄化（进一步影响传感器视场），这一挑战越发困难。

延伸阅读：Quest Movement SDK通过IK反向运动学为Avatar提供全身效果
延伸阅读：卡内基·梅隆大学探索基于控制器的内向外追踪全身动捕解决方案

然而，行业正在尝试各种解决方案，例如采用机器学习和IK反向运动学等技术来推断补全下半身，以及利用控制器/机械手套的内向外追踪来覆盖下半身动作。当然，相关方案的性能效果并不完美。

考虑到Avatar全身动捕是AR/VR行业难以绕开的一座大山，随着苹果有望在2023正式进军AR/VR市场，叠加他们在计算机视觉和机器学习方面拥有巨大的人才和知识储备，不排除苹果同样在探索纯AR/VR一体机的全身动捕解决方案，并正在组建相关的团队。