Meta布局元宇宙的硬核VR技术

Meta提出“All In”元宇宙，可以说是元宇宙里最激进的玩家。对于元宇宙的兵家必争之地——VR/AR领域，Meta更是积极推出相关的产品。Meta旗下的VR头显Oculus Quest 2也收获了非常好的反响，市占率遥遥领先其他的对手。

虽然占据了较大的优势，但Meta没有松懈下来，希望能够持续推进相关的技术，为人们带来更好的体验。Meta想成为元宇宙领域第一个吃螃蟹的人。

2022年6月，Meta针对目前VR头显领域一些技术难题展示了他们目前的进展，且向市场展示了他们打造的原型机，大秀肌肉。目前Meta正在攻克的4个关键技术方向为：高分辨率、高动态范围（HDR）、轻薄外形、降低晕眩感的变焦技术优化。在SIGGRAPH 2022大会上，Meta展示了其VR头显原型机。Butterscotch探索分辨率技术、Starburst探索HDR技术、Holocake 2探索VR头显的轻薄外形打造技术、Half Dome 系列探索变焦技术。这四款原型机分别代表了Meta在四个VR头显研发领域取得的最新进展。

Meta推出最新的VR头显，Quest Pro

2022年10 月 11 日，Meta召开了一年一度的 Meta Connect 大会，发布了最新款 VR 头显 Meta Quest Pro（售价1499.99 美元，折合人民币约 10700 元）。此高昂的售价也促使Quest Pro是一款主打企业层面的硬件（商业用户）。Quest Pro 主要面向的是建筑师、设计师、创意用户和 VR 铁粉，也就是那些对价格不太敏感的消费者。

新发布的Quest Pro的功能非常强大，它不仅能以 VR 形式显示文字和画面，就连细小字体也能得到清晰锐利的呈现，能跟踪用户的眼球和面部特征，供用户在虚拟空间里与其他人建立完成生动的交流。简而言之，Quest Pro能够跟踪用户的表情，现实中用户什么表情，那么VR 化身也能做出同样的表情（例如皱起眉头或者鼓起脸颊）。此外，Quest Pro支持混合现实功能，把可交互的数字对象叠加在彩显真实背景之下。在此功能的加持之下，虚拟用户可以在虚拟画架上作画，也能在迷你高尔夫球场上挥杆。

Quest Pro头显

更加逼真的图像

此前，Meta的CEO马克·扎克伯格曾提出视觉图灵测试（Visual Turing test）的概念。简单来说，视觉图灵测试的考核标准就是虚拟图像能否以假乱真，让人眼无法分辨出虚拟图像与真实图像。扎克伯格表示，视觉图灵测试有两个重点，即照片级真实感和临场感。

而让图像更加逼真的方法之一，就是尽可能地提升图像的分辨率。为此，Meta研发了Butterscotch原型机，其特点就是具有视网膜级别的分辨率。Meta估计，VR头戴显示设备需要达到每只眼睛8K的分辨率和60 PPD的像素密度，才能“欺骗”人类的视觉，营造出一个接近于现实的图像。相比之下，Meta目前的VR设备，比如Oculus Quest 2的分辨率仅为2K，PPD只有20左右。

Butterscotch原型机

Butterscotch的PPD达到55，很接近每1度角60像素的视网膜分辨率水平，是Oculus Quest 2的2.5倍。为了实现如此高的分辨率，Meta开发了一种新的混合镜头，但将通常的视野范围缩小了一半。也就是说，虽然能看得更清晰，但看到的东西变少了。Meta Reality Labs科研部门表示，Butterscotch的定制透镜模组中，有两个高精度玻璃镜片，镜片的表面质量更高，但也更重。

除了像素密度以外，图像的质量也必须提升。对此Meta也承认，与笔记本电脑、电视或手机相比，当前VR头戴设备的色彩范围、亮度和对比度要低得多，因此VR无法达到我们经常使用的2D显示器的那种精细程度。

提高分辨率

分辨率是一个影响体验感的重要因素。有了更高的分辨率，就能够提高用户的沉浸感，让虚拟世界看起来更加逼真、清晰。而目前VR头显的一个缺点在于其分辨率离人类视觉水平还非常遥远。

Meta曾表示初步目标是实现单眼8K分辨率和60PPD（像素密度）。然而目前Meta旗下的Oculus Quest 2只达到了单眼2K分辨率和20PPD，距离这一目标还有较远距离。 为了提高VR头显的分辨率，Meta开发了专注探索分辨率的Butterscotch原型机。高分辨率显示器的开发和生产并不是难点，难点在于如何为高分辨率显示器配备相应的计算能力。

对此，Meta的显示系统开发负责人Douglas Lanman表示，Meta开发的注视点渲染（Foveated Rendering）和云传输（Cloud streaming）两种技术或许有助于提升VR头显整体的计算能力。

注视点渲染使用与虚拟现实耳机集成的眼动仪，通过大大降低周边视觉（中央凹注视区域之外）的图像质量来减少渲染工作量，进而能够将重心放在注视点区域的渲染。而云传输则是因为VR头显的计算能力有限，将数据传输至云端计算处理再返回至VR头显，这样VR头显就不会有太大的计算压力。

注视点渲染对比图（下图经过注视点渲染）

提高佩戴舒适度

目前市面上的VR头显大多都会略显“笨重”，例如Oculus Quest 2的重量超过500克，其设备厚度达8厘米。显然这样的设备不会为用户带来很好的佩戴体验。理想的VR设备应该更轻薄，能让用户舒适地长时间佩戴。

Meta显然也发现了此问题，希望能够轻量化VR头显。Meta正在尝试在Holocake 2原型机上寻找答案（而Holocake 2也是目前而言Meta打造的最薄、最轻的 VR 头戴设备）。

Holocake 2头显原型

Holocake 2采用的是全息光学的技术方案，可以让VR头显的前端和太阳镜一样的厚度。但没有合适的光源成为了Meta在此方向研究的难题。Meta表示其团队一直在寻找合适的光源（或者说是研发合适的发光器件/设备）来进行测试。而Meta最终是希望研发一款安全、低成本、高效的光源。并且，这类激光源可应用于轻薄款的VR头显上。光源在这里指头显的发光设备，例如手机的OLED荧幕，显然手机OLED荧幕不适合在VR头显设备应用，因此Meta需要开发新的光源来应用在VR头显设备上。而这也是为何Meta认为光源非常重要的原因，毕竟如今许多VR头显都是直接采用现有的发光器件来直接应用或者是改进了安装，但鲜少有自主研发的光源。

变焦问题

在自然环境中，为了看清不同距离的画面，人眼可以自然变焦。尝试过VR头显的朋友会发现，如果你试着把一个东西，比如把一封虚拟的手写信靠近你的脸，你会发现你无法阅读它。这是因为VR对焦不匹配，有的人会产生视觉模糊，甚至恶心的感觉。这其中存在视觉辐辏调节冲突（vergence-accommodation-conflict）问题。而变焦透镜就像一副眼镜一样，它可以跟着你四处移动，让虚拟物体聚焦在焦点上。这样它就能带来更舒适、更清晰的视觉体验，对眼睛的负担也更小。

为了解决这个问题，Meta的研究人员开发了一系列支持“渐进式视觉”（progressive vision）的原型机Half Dome（于2017年提出，目前Meta进度是正在进行第三次改良）。Meta Reality Labs的研究人员一直在微调Half Dome的变焦透镜，而这些透镜可以通过物理和自动移动来帮助佩戴者的眼睛聚焦在他们面前的虚拟物体上。

Half Dome原型机的迭代版本

Meta表示，五年间他们一直在试验这些镜头。2020年时，该公司还声称几乎准备好迎接变焦光学的黄金时段，但直到目前这项技术还没有出现在我们可以买到的VR头显中，Meta展示的仍旧是个原型机。

难以适配所有人的眼部情况

眼动跟踪是虚拟现实中的一项关键技术，是众多其他重要VR技术的基础，如变焦、畸变校正等。通过这项技术，用户可以在虚拟世界中实现与其他用户的眼神交流，拥有更加真实的社交体验。

然而现实问题在于，每个人都有不同的瞳孔形状、每个人眼睑和睫毛的生长情况也不同，所以目前眼动追踪技术还无法很好地适配所有用户。因此，Lanman团队将广泛收集更多的用户数据，以此升级眼动追踪技术技术，努力让它与更多人适配。

瞳孔的形状每个人都不一样

克服来自环境的干扰

不知道大家有没有这样一个经验：在大太阳底下看手机时，手机的亮度调到最亮了，我们仍然难以看清手机上显示的内容。此问题在VR头显也是一个时常会碰到的问题（HDR问题），即物理对象和环境的亮度远远高于VR头显。HDR是指对各种亮度、对比度和颜色的支持。为了解决这个问题，Meta创造了Starburst原型机。

衡量HDR的关键指标之一是尼特。研究表明，理想的峰值亮度是10,000 尼特，而电视行业已经接近于它。Starburst原型机的亮度峰值为20000尼特，是现存Quest 2的200倍，高端HDR电视则大约是2,000尼特。

这就意味着Starburst的峰值亮度是市面上一些较好的HDR电视的10倍（而Starburst原型机可以更真实地模拟封闭空间和夜晚的照明状况，让虚拟环境看起来更加真实）。然而想要达到这一目标，外形和重量上有着很大的挑战。Starburst整体显得很笨重，LCD面板后面有一盏明亮的灯，还需要手柄来支撑。而原型如此庞大，顶部的风扇上可能会产生大量热量，十分耗能。

Starburst原型机特写

更加真实的反应

目前VR头显的一个缺点在于无法将人类的表情、动作等完全反应到元宇宙里，其顺畅度也非常慢。Meta希望未来人们在虚拟环境中见面就像在现实中一样真实。为此，Meta正在展开名为虚拟化身（Codec Avatars）的研究项目，该项目致力于为人们在虚拟环境中创建3D数字化身。

目前，VR头显可以实时读取VR用户的面部表情，并将其转移到虚拟现实中。已经推出的Oculus Quest Pro成为Meta第一款提供面部跟踪（face-tracking）的设备。Oculus Quest Pro可以识别面部表情并将其传输到VR设备上。

将反应快速表征到元宇宙里

而如何更加的准确且快速的传导人们的反应未来或许会是Meta努力攻坚的一个重点方向。