最近苹果接连更新了中文版“人机界面指南”,推出visionOS SDK和1.0 Beta系统,让我们从中进一步了解到更多信息。
在本文中,我主要通过WWDC公开课以及人机界面指南,还有visionOS模拟器中了解到的一些不容易被大家关注到的信息,供大家参考。
1,数码旋钮
支持的功能包括:
调整音量(旋转);
调节透视程度(旋转);
居中显示内容/重置视角(长按);
退出App进入主屏幕;
强制退出App(同时按住数码旋钮和顶部按钮2秒);
开启辅助功能(按3下);
第一次佩戴时校准眼球数据(长按,直至出现提示);
重新校准眼球和手部追踪(按4下)。
这里面也有一个疑问就是,苹果将沉浸模式切换功能放在头显的按钮,如果每次切换都需要手动旋转一下,不仅繁琐而且体验上还会有割裂感。我更希望是在系统快捷设置中也加入这个功能,通过手势或语音进行控制。
2,沉浸与透视
这里还是在啰嗦一下,因为概念比较多,刚开始接触容易混淆。
visionOS提供了两种类型的应用:Windows(2D窗口)和Volume(同时会支持2D窗口和3D内容,更适合3D)。
visionOS透视调节
同时,visionOS还有两种虚拟空间状态:共享空间(Shared Space),支持同时运行多个应用,可共存;全空间(Full Space),独立显示1款应用。
全空间模式并非一种默认状态,而是应用可选状态,可根据应用不同场景进行开启或退出,意味着一款应用可以在A场景是共享空间,而在B场景处于全空间,一旦进入全空间系统会隐藏其它所有应用的窗口和内容。
沉浸式三种类型
另外,visionOS还提供了另一个参数,也就是沉浸式类型,它有三种:
mixed:虚拟内容和现实环境融合显示。
full:全虚拟模式,类似于传统VR应用。
progressive:半沉浸,相当于上面两种模式的混合,即可以提供沉浸动态效果,也可以显示真实环境。
visionOS照片-全景照片
上图中苹果展示的开启全景照片场景时,就是progressive的类型,而在看其它照片或未进入全景照片预览界面时,则处于mixed模式。
苹果在文档中提到:visionOS中大多数应用启动都是一个窗口,根据需要打开不同的场景类型。要为应用的每个关键场景找到合适的、最低沉浸度环境(即同一App可在不同场景实现不同沉浸度),不要一味的追求全沉浸场景。由此也能看出,苹果Vision Pro追求的是AR和MR体验,也为今后OST的AR眼镜做好重要基础。
这里单独讲一下半沉浸模式,类似于发布会上讲到的浏览全景照片的效果,就是呈现一个180度半包围的沉浸,这时依然可以看到上下边的现实透视环境,而且你左右移动时这个半沉浸画框里的内容也对应的移动,整体上视觉沉浸感超级棒。
在App开启时默认进入共享空间(无论是窗口应用还是沉浸应用都是如此),共享空间中的App可以转到全空间,从而只运行1款应用。也就是说,Vision Pro无法像传统VR可以直接进入全沉浸模式,只能之后手动调整。
从虚拟切换到显示的过渡动画
从上述动画来看,从虚拟场景切换到显示场景中时,显示场景的拍摄的画面也会有一定程度的缩放(看白色背景墙的边缘缩放),这一点还不确定是否是渲染效果。考虑到苹果的宣传片通常会与实际场景相契合,因此猜测Vision Pro也具备这一功能,当然这一点也充分利用了VST的特性。
深度感知:用户依赖距离、遮挡和阴影等视觉提示来感知深度和理解周围。系统自动使用色温、反射和阴影等视觉效果来帮助用户感知虚拟内容的深度。
为了保证虚拟对象的视觉舒适性,要放在至少距离头显1米远处,这一点和VR应用应用开发逻辑相同。
3,手势交互
手势分为直接手势、非直接手势。
直接手势:包括虚拟键盘输入,可以用手直接触碰虚拟物体进行交互;
非直接手势:融合眼球追踪,简单的捏合进行选中、拖拽等动作;
自定义手势:可以根据开发者需求,创建自定义手势交互,比如比心来触发关键操作等。
大部分情况建议非直接手势,这样的话手可以在头显下方就可以结合眼球追踪使用。否则,双手需要移到头显FOV视野内,比如虚拟键盘打字类就是直接手势,长时间使用直接手势易导致疲劳等。
自定义手势
自定义手势为开发者提供了更多可能性,尤其是触发一些关键交互场景时,会加分不少。不过也需要注意:自定义手势大部分需要手臂抬起,连续多次使用会带来肌肉或关节的疲劳感。
4,眼球交互
大部分情况,眼球注视提供高亮(或悬停效果)提示用户焦点位置,并结合非直接手势进行交互。少部分情况下,眼睛注视可以实现页面或菜单展开等交互。
要注意的是:避免在较大的范围内/多个深度之间,连续或多次让用户进行眼睛调整。
5,辅助模式
辅助模式下,visionOS还提供了多种交互类型:手部射线/指针、头部射线/指针、放大镜。
辅助功能-手势射线
苹果提到一点,开发者应该始终向用户提供多种方式来与你的App交互。其中,基于手部、头部的射线就是给眼球追踪不便的用户,进行辅助交互的方案。
放大镜功能,有点类似于现实中的放大镜,可以放大空间中的显示内容。
6,定位空间
visionOS目前默认以站姿、坐姿为交互方式,并没有主推大范围移动的内容和玩法。苹果建议:让用户通过极少量或无需身体活动来使用你的应用。
用户处于全沉浸式体验中时,避免鼓励其移动,并且有多种措施避免碰到现实中的物体。此时,系统会定义一个以头部为原点的圆形不可见区域:
当用户头部移动超过原点1米时,内容自动变为半透明,帮助用户确认方向回到原点或重置原点;
当用户头部移动超过原点1.5米时,应用自动暂停并开启全透视,避免撞到物体;
当用户移动过快或靠近现实中的物体时(系统自动检测),应用也会自动暂停并开启全透视。
由此可见,苹果给全沉浸VR游戏还准备的空间只有直径为2米的圆形空间(以用户头部为中心),超出即半透明显示,再超出0.5米后应用会自动暂停。所以,给Vision Pro开发VR游戏得避免这一点。
7,多人体验
Vision Pro中最吸引人的还是“空间Persona”虚拟形象了。比如FaceTime通话时,可以显示出每个Vision Pro用户的虚拟形象。
而到了多人联机时,可以同时和非Vision Pro用户之间跨平台联机,系统内置共有三种Persona 模板:并排式、围绕式和会话式。
多人体验-三种模式
并排式简单就是几个人并排在一起观看一块大屏、看板。每个人可以共享自己的屏幕或文件等;
围绕式就像线下聚会围在一起讨论,适合多人查看3D模型;
会话式像两种结合,几个人围绕在一起,不过中间没有3D模型,取而代之的是旁边的大屏/看板。
参考:Apple