近日，美国专利商标局正式授予苹果一项专利，该专利与未来可能的 Vision Pro 应用程序有关，该应用程序为艺术家提供虚拟画布和素描本，提供虚拟擦除和涂抹技术，并可分层进行绘画或编辑。
苹果在其新专利中描述了提供交互式计算机生成现实（CGR）环境的技术，该环境用于使用电子系统和设备（如 Apple Vision Pro）在绘画表面上创建虚拟绘画，其中 CGR 环境为用户提供逼真和身临其境的体验，同时创建虚拟绘画，就好像用户在现实世界中创建真实绘画一样。通过这种方式，所描述的技术使用户能够在不需要传统的物理绘画工具的情况下创建绘画。
此外，由于绘画是在 CGR 环境中创建的，所描述的技术允许用户根据需要轻松有效地操作（例如更改、擦除、改变）绘画的一部分。因此，所描述的技术使用户能够体验在 CGR 环境中创建虚拟图形，就像用户在真实环境中创建真实图形一样，同时减少与在真实环境中创建真实图形相关的一些不便。
根据一些实施方案，该专利描述了一种方法。该方法包括：使用一个或多个图像传感器检测包括第一预定义手指方向类型的第一输入；在检测到第一输入时，响应于使用一个或多个图像传感器检测到的手部运动在计算机生成的现实环境中的绘图表面上绘画，其中响应于在计算机生成的现实环境中的绘画表面上绘图的手部运动，包括在计算机生成的现实环境中的绘画表面上产生与检测到的手部运动相对应的视觉效果。
苹果专利图 2 显示了为 Apple Vision Pro 设计的虚拟艺术家应用程序的空白起始画布；在图 4 中，我们看到用户启动一个手势，该手势将调用要使用的工具，例如铅笔或画笔；在图 5 中，我们看到用户为素描选择了虚拟铅笔；在图 6 中，用户开始绘制；在图 7 中苹果指出，在一些实施方案中，当用户使用绘画工具在绘画表面上提供输入时，设备 #100a 生成（和/或使头显等不同设备生成）一个或多个（视觉和/或音频）与绘画相关联的相应反馈。
进一步参考图 7，苹果注意到，在一些实施方案中，反馈包括对应于绘画工具 #206 在绘画表面 #202 上的运动的音频反馈（除了视觉反馈之外或替代于视觉反馈）。在一些实施方案中，如果所选的绘画工具是铅笔，则音频反馈是铅笔在纸上使用的素描（或涂鸦）声音。在一些实施方案中，如果选择的绘画工具是画笔，则音频反馈是画笔在画布上使用的刷刷声。在一些实施方案中，如果所选的绘画工具是钢笔，则音频反馈是钢笔在纸上使用的涂鸦声。
在一些实施方案中，声音反馈的大小对应于由绘画工具施加到绘画表面的力的大小。因此，在一些实施方案中，音频反馈的幅度分别根据在 CGR 环境中由绘画工具施加到绘画表面的力的增大和减小而产生变化。
在图 9 中，我们看到艺术家使用一种新的“张开手掌”手势，它可以启动艺术家的调色板，使用各种可用的颜料。其他手势还可以让艺术家使用粗细不同的钢笔或画笔；在图 12 中，用户启动了“擦除”模式，以更正他们不喜欢的错误或笔画。
如图 13 所示，艺术家使用两个手指的手势用于“涂抹”模式；图 14 展示了将 CGR 环境绘图表面 #202 旋转到侧角视图（从用户的角度）的设备显示。在一些实施方案中，图 #208 包括多个绘画层（例如，使用至少第一颜色和第二颜色绘制的绘画，其中在绘画的部分上将第一颜色施加在第二颜色之上），从而为绘画提供深度效果，如图 14 所示。图层是可编辑的。苹果是这样描述的：因为绘画是在 CGR 环境中创建的，所以所描述的技术允许用户轻松有效地操作（例如更改、擦除、改变）绘画的一部分。
