微软ARVR专利根据手势来触发摄像头对焦，以减少自动对焦误操作
（映维网Nweon 2022年05月18日）混合现实头戴式显示器设备可以使用PV(picture/video；图像/视频)摄像头来捕捉周围物理环境的静态和/或视频图像。PV摄像头可以包括自动对焦、自动曝光和自动平衡功能。有时候，设备用户的手部移动会导致自动对焦子系统在尝试解析物理环境的清晰图像时进行搜索。
例如，当与由头显设备渲染的全息图交互时，用户的手部移动可导致摄像头在每次检测到手部时重新聚焦，而这种自动聚焦搜索会降低本地头显设备用户和远程用户的体验质量。
在名为“Techniques to set focus in camera in a mixed-reality environment with hand gesture interaction”的专利申请中，微软提出了一种根据手势来触发摄像头对焦的方法，从而减少摄像头自动对焦的发生。
在一个实施例中，头显设备110可以包括多种类型的传感器315，以向用户提供进入混合现实环境的沉浸式体验，例如深度传感器320和PV摄像头325。深度传感器可以使用各种类型的深度感测技术，它可用于感测到目标的距离，并使用点云表示构建表示目标或物理环境外部表面特性的图像。点云数据点或结构可以本地、远程服务或其组合存储在存储器中。
PV摄像头325可配置有可调焦距，并可以实现为RGB摄像头，以捕捉头显设备所在物理空间的场景。
与头显设备相关联的摄像头子系统330可至少部分用于PV摄像头，并可包括自动曝光子系统335、自动平衡子系统340和自动对焦子系统345。自动曝光子系统可以根据到达摄像头传感器的光量自动调整图像亮度。
自动平衡子系统可以根据光线自动补偿色差，以便适当显示白色。自动对焦子系统可以通过对焦PV摄像头透镜来确保捕获和渲染的图像清晰。
合成生成器395配置成创建合成内容，并将PV摄像头325捕获的物理世界场景与头显设备生成的虚拟对象图像相结合。合成内容可以记录或传输到远程计算设备。在典型的实现中，图像是虚拟对象的非全息2D表示。但在替代实现中，数据可以从本地头显设备传输到远程头显设备，以实现全息内容的远程呈现。
在图9-图11中，本地用户105在操作本地头显设备110时可以做出一系列的示范性手部动作和手势。图12和图13显示了描述水平和垂直视场的说明性球面坐标系。在典型实现中，球面坐标系可以利用用户到三维空间中的点的径向距离、用户到三维空间中的点的方位角，以及用户和三维空间中的点之间的极坐标角来协调物理环境中的点。
图14示出了头显视场605，包括示例性感兴趣区域（ROI）1405。ROI是头显设备FOV 605中的静态或动态定义区域，而头显设备110的自动聚焦子系统可以利用所述区域来确定是否聚焦于手部运动或手势。
ROI 1405可以实现为3D空间区域，并使用球坐标或直角坐标进行描述。使用球面坐标系，ROI可以根据与用户的测量距离以及距离对方位角和极角的影响而动态变化。通常，ROI可以位于显示系统FOV的中心区域，因为这是用户注视的可能位置。不过，ROI可以位于显示系统视场内的任何位置。ROI可以具有相对于FOV的静态位置、大小和形状。
图15示出了将数据馈送到摄像头子系统330的自动对焦子系统345的示意图。自动对焦子系统共同利用所述数据来控制自动对焦操作，以减少在与渲染全息虚拟对象交互期间由手部运动触发的自动对焦搜索。
送入自动对焦子系统的数据包括描述来自PV摄像头325和深度传感器320或其他前置传感器1525的物理环境数据。当深度传感器320捕获时，来自前置传感器的数据可以包括深度数据，但其他传感器也可以用于捕获用户周围的物理环境。
头显设备可以配置为检测和识别手部，从而启用手势输入，并进一步影响发明讨论的自动对焦操作。如下文更详细地讨论的，图15中所示的传输到自动对焦子系统的捕获数据包括与HMD设备的用户相关联的手数据。
在图17中，自动对焦子系统345接收内容1705的记录帧，并使用捕获的手部数据自动对焦内容帧。自动对焦子系统可以配置有一个或多个标准，在满足或不满足时，所述标准用于确定头显设备是否触发或抑制自动对焦操作。
自动对焦操作可包括自动对焦子系统，自动对焦显示FOV的ROI内的内容。标准的满足度可以指示用户正以希望清楚看到手部的方式使用手部，并且手部是用户在ROI内的焦点。
例如，如果用户在ROI中与全息图交互，自动对焦子系统可能不想对焦用户的手部，因为用户的手部用来控制全息图，但全息图依然是用户的主要兴趣点。
在其他实施例中，用户的手部可能暂时停留在ROI，因此不是关注的兴趣点。相反，如果用户以不同于全息图的方式使用手部，例如创建新的全息图或打开菜单，则自动对焦子系统可以选择对焦用户的手部。
设置的标准有助于自动对焦子系统智能地对焦或不对焦用户的手部，从而减少搜索并提高录制内容的质量。简而言之，标准的实施有助于确定用户手部是不是用户感兴趣的点。
在步骤1710中，自动对焦子系统确定ROI中是否存在一只或多只手。自动对焦子系统可以从深度传感器320或另一个前置传感器1525获取关于手部的数据。收集的手部数据可以协调到显示视场的相应位置，以评估用户的物理手部相对于ROI的位置。这可以基于每帧或使用一组帧来执行。
在步骤1715中，当用户的一只或多只手不在ROI中时，自动对焦子系统通过自动对焦在ROI中检测到的环境继续正常工作。
在步骤1720中，当在ROI内检测到一只或多只手时，自动对焦子系统确定手的特征是否指示用户正在与全息图交互，或者用户的手不是关注点。
在步骤1730中，当用户的手确定为兴趣点时，自动对焦子系统触发摄像头对ROI内的内容的自动对焦操作。
在步骤1725中，当确定用户的手不是关注点时，自动对焦子系统抑制摄像头的自动对焦操作。
图18示出了自动对焦子系统用于确定是否触发或禁用自动对焦操作的说明性手部特征的分类。特征可以包括ROI 1810内部和周围的手部运动速度。
当捕获的手部数据表明手部速度达到或超过或未能达到或超过预设速度限制时，自动对焦子系统使用所述速度触发或抑制对焦操作。因此，如果手数据指示手的速度满足预设的速度限制，则即使手在ROI内，自动对焦操作都可以被抑制。
可影响触发或禁用自动对焦操作的另一个特征包括一只或多只手位于ROI内且静态定位持续时间。当一只或多只手在满足预设阈值限制（例如，3秒）的持续时间内未处于静态位置时，可以禁用自动对焦操作。相反，当一只或多只手在满足预设阈值时间限制的持续时间内静态地位于ROI中或ROI区域内时，可以执行自动聚焦操作。
通过以上方式，系统可以减少摄像头自动对焦的发生，并提升性能体验。
相关专利：Microsoft Patent | Techniques to set focus in camera in a mixed-reality environment with hand gesture interaction
名为“Techniques to set focus in camera in a mixed-reality environment with hand gesture interaction”的微软专利申请最初在2022年1月提交，并在日前由美国专利商标局公布。