在多用户XR会话中提供一致的体验
（映维网Nweon 2023年11月03日）为了提高真实感，在XR环境中模拟的虚拟对象需要以符合特定物理定律的方式进行调整，这对于多用户XR会话中，系统需要提供一致的对象几何。所以在名为“Shared space boundaries and phantom surfaces”的专利申请中，苹果就介绍了一种用于为在多用户通信会话确定公共可用几何形状，使得多用户通信会话的组件可以放置在可用几何形状中的方法。
在一个实施例中，可以获得在多用户通信会话中活动的每个用户的物理环境的特征，以便确定在每个空间中可用的区域的大小或维度。可根据多用户通信会话中的每个用户的物理环境或在多用户通信会话中活动的用户的子集来确定可用的几何形状。
多用户通信会话的组件可以这样放置在用于每个设备的可用几何形状中，使得组件在每个设备的多用户通信会话的表示中看起来一致。例如，参考点可在可定义多用户通信会话的各种组件的位置的可用几何结构中使用。作为另一个示例，可以利用公共坐标来确定用于各种设备的多用户通信会话的组件的一致放置。
如果用户离开可用的几何体，可用的几何体可以决定如何呈现用户或组件。例如，如果本地用户走出多用户通信会话的本地表示中的可用几何图形，则多用户通信会话的内容不再对本地用户可见。
另外，在可以根据隐私策略确定物理对象的细节级别。例如，包含个人识别信息的物理对象可能比一般对象对远程用户更加模糊。同时，关于物理对象的详细级别可以依赖于远程用户与本地用户的关系。
例如，具有足够密切关系的本地用户可以与较低的安全标准相关联，以便可以向远程用户提供有关本地用户物理环境的更多详细信息。或者，如果本地用户和远程用户仅是认识关系，则可以向远程用户提供较低层次的详细信息。
图3描述了表示多用户通信会话的流程图。从305开始，XR模块初始化多用户通信会话以包含多个设备。多用户通信会话可以包括在多用户通信会话中的用户之间共享的各种组件，例如远程用户的表示和交互式应用程序等。
在310，几何模块获得与局部环境相关的局部尺寸约束数据。根据一个或多个实施例，局部尺寸约束数据可以与局部几何图形相关联，例如可用于表示多用户通信会话的表示的体积或面积。
块315，几何模块获取与所述远程设备所在的远程环境相关联的远程尺寸约束数据。在一个或多个实施例中，几何模块获取在多用户通信会话中活动的每个远程设备的远程尺寸约束数据。类似地，当新的远程设备加入多用户通信会话时，本地设备可以另外接收约束数据以作出更新的确定。远程大小约束数据可以由远程设备提供。
在320，几何模块根据本地尺寸约束数据和远程尺寸约束数据确定可用几何形状的尺寸。在一个或多个实施例中，几何模块基于本地约束和远程约束之间的交集确定尺寸。
在325，XR模块利用可用的几何图形来约束多用户通信会话的表示。XR模块使用可用的几何形状来确定用于表示的共享虚拟对象的位置。例如，如果多用户通信会话包括一组共享虚拟对象，XR模块将利用可用的几何图形来安排共享虚拟对象的表示。
在330，确定是否在可用几何形状之外检测到第一设备的移动。如果检测到移动并且它不在可用的几何形状之外，则流程图返回到325。XR模块继续利用可用的几何形状来约束多用户通信会话的表示。因此，在多用户通信会话期间，用户可以在本地物理环境中围绕可用几何图形移动。
如果在330确定本地设备的移动在可用几何体之外，则流程图继续到335。在335，XR模块表示可用的几何形状。换句话说，本地用户可以站在可用的几何图形之外，从而站在呈现多用户通信会话的区域之外。
当用户在可用几何体之外时，可以对本地用户隐藏多用户通信会话的组件。在340中，当本地用户走出或以其他方式离开可用的几何形状时，对来自本地用户的多用户通信会话的内容济宁模糊。隐私设置可能表明，只有在可用几何中活动的远程用户才能查看可用几何中的组件。
图4描绘了表示在远程物理环境周围移动的远程用户。从405开始，本地设备接收远程用户移动的指示。例如，可以基于远程设备的传感器数据、远程设备的位置数据等来接收所述移动。
在410，确定远程用户的位置是否在可用的几何体内。如果在410确定远程用户已移动到可用几何形状内的新位置，则流程图继续到415，其中几何形状模块基于与可用几何形状相关联的公共参考点确定用户的位置。然后，流程图继续到420，XR模块基于公共参考点在可用几何图形中表示远程用户在所述位置的表示。
回到410，如果确定远程用户的位置不在可用的几何图形中，则流程图转向425。其中，XR模块停止在可用的几何图形中呈现远程用户的表示。然后，流程图继续430，其中XR模块在可用几何形状的边界呈现指示，指示远程用户移动到可用几何形状之外的位置。
流程图在435结束，其中空间音频与来自可用几何形状之外的位置的远程用户相关联。例如，与远程用户相关联的音频可以从远程用户在可用几何图形之外的位置进行空间化。这样，远程用户可以继续说话或提供其他音频内容，即便当远程用户在可用几何形状内不可见时，音频内容都可从可用几何形状外的位置出现。
图6描述了为在可用几何形状内呈现多用户通信会话的组件而设置的示例系统。
视图600描述了第一用户602的物理环境，其中第一用户已经移动到可用几何图形512之外。
设备504描述第一用户退出可用几何体526后第二用户的视图。因此，虚拟桌面514B依然可见，但是，第一个用户的Avatar不再可见。因此，视觉指示604提供用户在多用户通信会话中处于活动状态但当前不可见的指示。
在一个实施例中，从本地用户到远程用户的矢量与可用几何形状的边界之间的交点可以识别可以放置远程用户的视觉指示的位置。因此，视觉指示604可以随着外部用户的移动而沿着边界移动。
当用户在其本地物理环境中退出可用的几何图形时，本地用户对多用户通信会话的视图同样可以改变。如图所示，设备500包括从第一用户602的新视角对物理环境506的描述。因此，物理环境506的显示可以包括办公桌520。
然而，可用几何图形中的多用户通信会话组件可能与本地用户混淆。针对这一点，可以呈现可用几何形状的视觉指示606，然而，可用几何形状内的多用户通信会话的组件可以与本地用户混淆。所以，来自多用户通信会话的音频可以在用户离开可用几何体后继续呈现给用户。或者，当用户在可用几何体之外时，来自多用户通信会话的音频可以停止呈现给用户。
图7描述了表示影响远程用户运动的远程环境中物理对象的指示。具体地，图7描绘了第一设备700和第二设备702之间的相互作用。
从705开始，第一设备700检测本地物理环境中本地用户的移动。可以基于传感器数据检测局部运动，例如来自第一设备700的传感器。
在710，确定所述移动是否受本地环境中的物理对象的影响。根据一个或多个实施例，局部物理环境的几何形状可以例如通过由操作连接到该局部设备的一个或多个局部设备对该物理环境进行扫描来获得。
如果确定移动不受物理对象的影响，则流程图继续720。其中，将移动数据传输到远程设备702。移动数据可以包括远程设备用来表示以代表在705处检测到的移动的方式在多用户通信会话中移动的本地用户的表示的数据。
如果确定移动受到物理对象的影响，则流程图转向715。其中，本地设备700获取并向远程设备702传输物理对象特征。在一个或多个实施例中，所述物理对象特征可以是所述物理对象的图像数据、所述物理对象的几何信息、所述物理对象的3D模型等。
物理对象可以与多个细节层次的物理对象特征相关联。传输的物理对象特征可以是基于对象的类型、安全偏好、远程用户的特征、远程设备的特征、本地用户和远程用户之间的关系等的详细级别。另外，第一设备700向第二设备702传输运动数据。
所述流程图在725继续，第二设备702接收到所述移动受第一设备的物理环境中的物理对象影响的指示。例如，移动受物理对象影响的指示可以包括物理对象的表示或关于影响远程用户移动的物理对象的其他数据。
在730，第二设备702呈现基于所述物理对象特征的物理对象的表示。例如，可以呈现具有类似几何形状的虚拟对象来表示多用户通信会话中的物理对象。
流程在735结束，其中第二设备702根据指示在多用户通信会话的本地表示中呈现第一用户的表示。
图8A描绘了物理环境800，其中第一用户810沿着路线820围绕物理桌子814移动。第一用户810A可以在与设备802的用户的多用户通信会话中处于活动状态。同时，设备802描述多用户通信会话804的本地表示。视图可以包括物理对象816，以及多用户通信会话的组件，例如对应于第一用户810A的Avatar 812A。
第二设备802可以从第一用户的设备接收指示，指示第一用户的运动受到第一用户环境中的物理对象的影响（桌子814）。第二设备802可以接收物理对象的特征，例如对象的几何形状。因此，第二设备802可以呈现物理桌子818的表示，使得当Avatar812A沿着路径822以间接方式向第二用户行走时，第二用户清楚地看到第一用户810A正在围绕第一用户的物理环境中的物理对象行走。
图8B描述了物理环境800，其中第一用户810B将虚拟对象（虚拟马克杯826）放置在物理桌子824上。第二设备802可以从第一用户的设备接收指示，指示第一用户的运动受到第一用户环境中的物理对象的影响。
第二设备802可以接收物理对象的特征，例如对象的几何形状。因此，第二设备802可以呈现物理桌子830的表示，使得当Avatar 812B将虚拟马克杯826放置在物理桌子824之上时，第二用户清楚地看到虚拟马克杯828的本地表示设置在物理桌子830的表示之上。
在一个实施例，虚拟内容可以在物理环境中的共享空间容器内呈现。即，共享虚拟对象、Avatar等可以在作为共享空间容器的受限几何区域内呈现。共享空间容器可以以多种方式锚定在物理环境中。
例如，共享空间容器可以放置在环境中的默认位置，例如房间中的中心位置，沿着预定义的表面等等。可以评估房间以确定共享空间容器的位置。例如，可以扫描物理房间以确定应放置共享空间容器的最佳位置。
在一个实施例中，共享空间容器按照锚点放置，其中锚点可以虚拟地放置在物理环境中，例如物理环境中的表面。
因此，共享空间容器可以按照锚的位置呈现。例如，如果将锚放置在表面之上，例如物理环境地板上的特定位置，则关联的共享空间容器可以呈现在与特定位置相关联的物理环境中的位置。
相关专利：Apple Patent | Shared space boundaries and phantom surfaces
https://patent.nweon.com/30798
名为“Shared space boundaries and phantom surfaces”的苹果专利申请最初在2023年3月提交，并在日前由美国专利商标局公布。
