手机版

苹果Vision Pro赛博拆机:当初的愿望实现了吗?

2023-06-22 14:48:39
250

在VR/AR发展的这数年中,关于苹果AR设备相关的报道属实不少,其中占据大头的除了爆料之外,最具可信度的当属专利。每次苹果有AR相关专利公布,就会被推上舞台的最中心——某种程度上这也代表着行业对苹果的好奇和期待。

这种好奇和期待,随着Apple Vision Pro的发布终于尘埃落定。有许多数码博主和科技媒体同行都抢先体验了它,并发出了“牛牛牛”的评价。与之相对的,也就产生了一种“都有实物了,谁还在乎专利”的微妙感受。

苹果的保密工作实在太好,我们除了“听”之外,看不到任何Vision Pro的实际体验画面和“言行”合一的硬件测评。不过,我们还是可以通过对专利的追溯,看看苹果Vision Pro到底有多“牛牛牛”。

经过几天的奋战,87君翻看了从2015至今大部分苹果有关VR/AR的专利,对Vision Pro来了一波“赛博拆机”,也帮助我们搞清楚了很多问题。

AR or VR,对苹果来说也是问题

首先就是苹果对Vision Pro这款产品的定位问题。

自从Vision Pro推出以来,VR或者AR又被推上了风口浪尖,重现2015-2016之态势(就像元宇宙一词刚出现的时候一样)。有人说它是VR,有人说它是AR,也有人说它是MR,众说纷纭、不尽相同。但无论是VR的纯虚拟环境、AR的虚拟叠加于真实之上,甚至更进一步虚实结合的MR,都不足以形容Vision Pro所带来的“在虚拟和现实中进进出出”的动态感。

实际上呢?苹果有没有对Vision Pro下过定义?还真有。

2020年1月,苹果CEO 蒂姆·库克获得了爱尔兰的嘉奖,奖励苹果连续40年在爱尔兰的投资。获得奖项时,库克表达了对未来5-10年科技发展的预期:“AR令我兴奋……我认为这是下一件大事,它会贯穿我们整个生活。”从此,苹果将AR这张牌摆在了明面上。

随后在2021年,苹果在专利中展示了其眼中的“下一件大事”。这份专利不仅包括苹果认为未来“AR”用什么样的操作系统、交互方法和硬件设备,也为其这一套系统下了新的定义——SR。

专利中说道,所谓SR即为Synthesized Reality,合成现实。大致的实现路径就是捕捉现实环境——在虚拟中还原环境——叠加虚拟内容——与用户实现交互/跟随用户的交互变化。

如果这很难理解的话,在专利中还进一步给出明确的解释,使用苹果这一系统,用户是通过物理环境的图像或视频“间接地”观看物理环境。

基于这样的显示效果或者系统逻辑,苹果设想了一些未来可能的娱乐场景。比如身临其境的观看一场拳击比赛,就好像整场比赛在你家客厅里举行一样。这与苹果在Vision Pro宣传视频中展示的内容已经非常接近,某种程度上,也算是苹果实现了自己的设想。

通过对专利的追溯和观察,我们发现一直以来苹果都没有把VR和AR看做两件事情分开做,而是致力于将二者合体。在上文的专利公开之前,苹果就有很多类似的技术布局,显著的证据有:

- 2016年,苹果有公布过关于3D光学测绘系统(3D optical mapping)的相关专利,大致可以理解为:设备发射出光线到物体表面——传感器收集物体表面反射的光线(三维数据)——处理器识别数据——处理器还原物体3D模型并加以利用。

这很可能是Vision Pro目前对虚拟+现实环境处理方式的最初来源。根据后续的专利显示,这一想法在苹果得到了相当深入的发展。

- 2017年一项由被苹果收购的Metaio转移到苹果名下的专利显示,苹果正在研究怎么通过移动AR系统监测周围的环境,并在VR环境下实时向用户显示信息。

- 2019年初,苹果继续在“现实转VR叠加AR”这条路上深挖。专利曝光了有关苹果搭载眼动追踪的头显,其中提到,苹果可能利用视频处理引擎,重现并改良物理环境,比如利用虚拟物体增强原始场景,或补充真实物体的信息,将改良版场景传输到头显中,而这种视频过滤功能也会根据用户注视点改变而实时运行。

当时苹果并没有用类似Vision Pro的R1芯片来处理视频数据,而是利用外部基站处理数据再通过无线传输发送到头显端。

从以上这些专利中,不难看出苹果早早就设想未来的SR设备一定要具有当下流行的VST(Video See Through)功能,苹果Vision Pro利用它强大的12颗摄像头、单眼4K分辨率,最重要的是M1和R1两颗芯片提供的数据处理能力,在VST中间加入了畸变修正、颜色矫正等各种功能,让还原出来的场景真正能做到1:1。

看完这些,我们应该能明白Vision Pro的SR是什么,所用到的技术和VST都有哪些微妙的不同。那就再回到最初的问题,苹果对Vision Pro的定位是什么?

我们认为,苹果主要注意力还是集中在教育市场。做“最好的产品”是苹果一贯的风格,伟大的创新都搭建在已经出现的品类上。而基于VR/AR的普及程度、苹果提出的SR定义和对Vision Pro的构建方式,对苹果来说,Vision Pro就是一个全新品类,需要漫长的时间告诉用户这是什么,会带给用户什么样的体验。

简单的功能,可能需要8年打磨

从2016到2023,经过8年的时间,苹果初步完成了对其SR硬件的创作设计。但综合体验从不是“整体”说了算的,而是由各个部分带来的体验拼接的。在过往的专利中,我们也找到了苹果在体验上下的功夫。

比如大家关注的眼动追踪方面,苹果早在2017年公布的一项名为“Predictive,Foveated Virtual Reality System”的专利中就阐述了,为了提升硬件表现,可以采用注视点渲染功能进行优化,这里就势必会用到眼动追踪。其中,Predictive(预测性)这一点,也会是利用眼动追踪摄像头等传感器捕捉用户动作,以便判断图像哪部分需要以更高分辨率进行渲染。

也是同年,苹果收购了眼动追踪技术方面的翘楚SMI,并在次年公布了其HMD搭载眼动追踪技术的相关专利。

另外一项令人心动的功能,空间音频,也被加入到了Vision Pro中,这一点在专利中也早有体现。

2020年,苹果陆续申请了多项有关空间音频的专利,其中就包括能够让玩家在虚拟游戏环境中更加沉浸的全新音频维度、为HMD申请的新“空间音频”专利等等。

比如通过还原3D场景以及场景中的物体,来尽量还原真实声音在真实环境中的感觉,提高声音的表现力和沉浸感。

也就是说真实的Vision Pro在沉浸感方面,绝不只是“根据你的位置改变声音传来的方向”那么简单,博主们分享的细腻听觉体验很可能也来自这项专利。

Vision Pro外观设计方面也有不少使用了专利。

- 磁吸处方镜片。这项专利是苹果在2020年递交的,其中详细的描述了它的结构,磁吸连接且围绕显示元件。根据下面这张图片也不难看出,跟Vision Pro为磁吸镜片专门设置的凹槽已经非常接近。

- 虚拟键盘。在Vision Pro宣传片中出现的虚拟键盘算是它非常有突破性的功能,关于这一功能的专利早在2020年就已经提交。根据专利描述,头戴式设备可以追踪用户手的位置来判断虚拟键盘的投射位置。

设备所具有的传感器可允许不依赖信号的情况下实现文本键入。换言之,头显可以根据用户对虚拟键盘的键入行为来解读文本输入,从而免除对实际物理键盘的需要。

- 头戴设计。Vision Pro的头带部分来源于2022年中旬获得的一项专利,其中包括后部头带和可拆卸头带两部分。

后部头带非常明显可以看到“可伸缩带”的字样,与现在Vision Pro的设计贴合。同时,虽然苹果没有具体展示,但也有媒体发现,Vision Pro可能会配有用来分配重量的顶部头带。苹果也对此回应,正在考虑要不要把顶部头带加入Vision Pro的包装中。

通过对专利的追溯,我们发现库克押注AR并不是一句空话,他们的的确确用了8年甚至更长的时间,考虑这款产品该怎么做。

苹果创新的集大成者——Vision Pro

相信看过专利的你,应该也能感受到,Vision Pro也不仅是一款新品,而是苹果过往技术的集大成者。

但Vision Pro能做到的应该远不止如上所说,苹果还有很多可以使用的技术“尚未确定”是否加入Vision Pro。

比如在AirTag中使用的UWB技术,很大可能会用来联动Vision Pro和Apple Pencil。在上文虚拟键盘的专利中,苹果提到可以支持Apple Pencil在虚空中挥动的输入,同时,2021年发布的专利中又显示HMD可以与“贴了定位追踪器的物体互动”。

这种感觉有点像,为你创造了一个和物理世界一模一样的虚拟世界,甚至每一个物体都可以帮你变成虚拟的。

此外,我们还发现一个小细节,曾经公布的专利中显示,苹果在其HMD的侧面做了手动调节的音频模块,外形与Vision Pro几乎一模一样。不过在专利中,这一模块可以用来调整噪声消除的程度,但在Vision Pro中没有实装。

根据我们的猜测,都用上手势识别了,还需要用户通过滑动物理模块“有实感的”去调节音频,带来的体验显然不够匹配Vision Pro的科幻感。但调整降噪程度的功能足够实用,所以很可能在未来苹果调整交互后会实装。

看专利总是能发现一些此前没有关注到的问题,也在没有接触到Vision Pro的时候让我们更了解它一点。我们总是惊叹于苹果过去的辉煌,吐槽它iOS XX的升级毫无想象力,发表“苹果已死”的言论。但看专利时,仍旧会为这家公司近乎疯狂的想象力和执行力感到惊叹。

至于最后如何,我们只能拭目以待了——对了,这次是真的,很期待。

最新文章

更多