基于Apple Vision Pro，用户可通过简单手势与VisionOS系统交互。不过，有时可能需要额外的“控制器”来操控Apple TV内容、视频游戏、演示等。苹果最新专利申请指出，用户可使用“手指设备”、Apple Pencil等来操控设备。
具有磁场追踪外设的系统
苹果专利涉及一种与无线控制器配合使用的头戴式设备，该设备包括一个用于测量控制器相对于地球重力方向的加速计和一个用于测量控制器相对于地球磁场方向的直流磁力计。
无线控制器可以确定无线控制器相对于头戴式设备的位置和方向，然后可以将此信息无线传输到头戴式设备以控制头戴式设备，交流磁力计可以是位于控制器外壳中不同位置的三线圈磁力计。
每个三线圈交流磁力计可以有三个线圈，这些线圈沿线性独立的三个轴对齐（没有一个轴彼此平行）。在说明性结构中，其有时可在此描述为示例，每个三线圈交流磁力计可以具有三个正交线圈。
在某些配置中，线圈可能共享一个公共磁芯。如果需要，线圈也可以具有空气芯或单独的磁芯。在说明性排列中，每个交流磁力计的两个或三个线圈可以缠绕在一个共同的磁芯上。
无线控制器可能具有其他组件来帮助测量位置和方向，这些组件可能包括光学传感器，例如形成视觉惯性里程计系统一部分的相机、自混合接近传感器和/或基于光流的视觉惯性里程计系统传感器。如果需要，无线控制器可以具有用作视觉参考点的光源，头戴式设备中的摄像头可以追踪这些视觉参考点，以帮助确定无线控制器的位置和方向。
苹果专利图1是一个说明性系统的示意图，其中头戴式设备（Apple Vision Pro）由外围设备（附件或控制器）无线控制。如图1所示，系统8可以包括诸如无线控制器#10B的控制器，其用于无线控制诸如头戴式设备#10A的电子设备。无线控制器可以戴在用户的手指上、握在用户的手中，或者可拆卸地耦合到用户手中或以其他方式移动的便携式电子设备。
当用户移动控制器（并任选地按下按钮、触摸触摸传感器、向力传感器施加力、或以其他方式向控制器提供输入）时，控制器#10B的位置和方向由控制器中的传感器电路（如果需要，设备#10A中的摄像头或其它传感器电路）监视。
控制器收集的有关控制器位置、方向和移动的信息用作HMD的用户输入。
来自控制器的用户输入可以实时无线提供给设备#10A并用于控制控制器的操作。例如，控制器提供的用户输入可以控制游戏中元素的移动，可以移动指针、用于浏览屏幕上的菜单项并进行菜单选择，和/或以其他方式用于控制用户与HMD的交互。
苹果专利图2是带有头戴式设备和控制器的说明性系统示意图。
苹果专利图3-5说明了可以与HMD配合使用的各种控制器样式；图8是可用作控制器的说明性手指装置透视图，并且是专利中介绍的主要控制器；图10是具有磁性传感器的说明性手指装置侧视图。
基于手指操作数据和肢体追踪数据的多手指手势
根据一些实施方案，一种方法是在具有一个或多个处理器、非瞬态存储器、显示器、肢体追踪系统和提供通信接口的电子设备上执行的，以与手指可穿戴设备进行通信。该方法包括在显示器上显示计算机生成的对象。该方法包括通过通信接口从手指可穿戴设备获取手指操作数据、基于来自肢体追踪系统和手指操作数据的肢体跟踪数据确定多指手势、根据多指手势注册相对于计算机生成的对象的参与事件。
手指可穿戴设备可以由用户的手指佩戴。在一些实施方案中，电子设备基于手指操作数据以6DOF追踪手指。
苹果专利图.3D是基于各自的多指手势的电子设备记录与计算机生成的对象有关的参与事件的一个例子。
在这项专利中，手指设备可以与iPhone、iPad、MacBook、iMac和HMD（包括智能眼镜）一起使用。
