Uploads%2farticles%2f16365%2f10 years of reality labs social share 1
|
2024-04-09

Meta 首款 AR 眼镜全爆料!凭借十年功力,给你好看!

从轻量级的 VR 到虚实融合的 MR,下一个惊喜是 AI+AR

近日,Meta 虚拟现实和增强现实技术的核心研发部门 Reality Labs 近日迎来了十周年庆,官方以《通往下一代计算平台之路的十年》为题,对 Meta 在 XR 道路上的十年探索做了一番回顾。

从收购 Oculus 后在 PC VR 领域先人一步的探索,到 Quest 系列在轻量级移动 VR 领域的独占鳌头,再到 Ray-Ban 系列智能眼镜,以及最新爆料的 AR 眼镜。

十年来,Meta 在 VR、MR、AR 三大领域全线探索,推出十几款硬件终端,是元宇宙最大的玩家。

回顾过去,展望未来,Meta 想表达的是:凭借十年功力,我会给你好看!

导读:
01 早期:终端产品探索和关键技术积累,PC VR 先人一步
02 主线:从轻量级的 VR 到虚实融合的 MR,Quest 开启移动 VR 新篇章
03 插曲:视频通话终端、脑机接口,探索新的人机连接方式
04 未来:AI+AR,先将智能眼镜戴到眼前
05 未来:Meta 首款 AR 眼镜即将到来,官方的爆料都在这里了

早期:终端产品探索和关键技术积累,PC VR 先人一步

虚拟现实曾经是科幻小说的梦想,但互联网也曾经是一个梦想,电脑和智能手机也是如此。未来即将到来,我们有机会共同构建它。

这是 Meta 虚拟现实打怪路上的的第一步,在这段时间里,Meta 在组织架构、产品形态、技术应用上,都进行了大量尝试。

先是在 2014 年,Meta 以 20 亿美金的价格收购了 VR 公司 Oculus,并入公司后设立 Oculus Research。2018 年 F8 开发者大会上,正式将 Oculus Research 更名为 Reality Labs。

命名的变化,大体也能读出 Meta 入局这一领域的战略决心。

围绕公司的战略布局,Reality Labs 技术侧,在面部表情和眼动追踪、高分辨率显示、人眼变焦能力、虚拟化身、畸变矫正、视频直通、无线串流等关键技术做了大量储备

maxresdefault
一切都始于一个开发套件和一个梦想。

产品侧,Oculus 分别推出了两款在当时极具代表性产品:Oculus Rift、Oculus Go。

Oculus Rift 是一款 PC VR 头显,下设从 DK1 到 DK2 的多个型号,其中消费者版本于 2016 年上市,收获了超过 9000 名早期用户的 240 万美元的众筹资金。

scott-oculus-rift-2013

△ 图源:CNET

屏幕单眼分辨率 1080 x 1200,刷新率 90Hz。内置传感器支持 6DoF 头部与手部追踪,支持 Unity3D、Source 3D 游戏引擎、Unreal 引擎等,配置有控制器,通过 HDMI、USB 接口与 PC 相连。

Oculus Rift 不单是 Meta 的 VR 新物种,一定程度上,Oculus Rift 也为整个 VR 行业树立了产品标杆。后续,我们看到了大量类似头显产品的上市发布。

Oculus Go 则是一款独立 VR 设备,由 Oculus、高通、小米三方联合研发,在 Oculus Connect 开发者大会期间亮相,并于 2018 年上市。

144317-ar-vr-review-oculus-go-review-in-the-sun-image1-oyfnmib54m

△ 图源:Pocketlint

屏幕单眼分辨率 1440 x 1280 的 LCD 屏幕,支持 3DoF 头部追踪,内置的 Oculus Store 可提供流媒体应用、游戏下载。

149 美元亲民的售价,极大降低了消费者体验 VR 的门槛,并加速了 VR 的普及。

另外两款产品在这一时期也对 VR 头显的发展产生了重要影响。

在 Rift 取得成功之后,2016 年底,第一代 Oculus Touch 发布,这个用手部姿势操控 VR 的控制器,开启了 VR 头显交互的新篇章,它将玩家的双手带入了虚拟世界。

05Bom4e7O9ldxZAudX1Uh2o-3

△ 图源:PCMag

在第一代 Rift 发布三年后,Oculus Rift S 带着 Quest 首次推出的由内而外的追踪技术(Inside-Out),于 2019 年 上市,它消除了头显对外部传感器的需求,让玩家可以无线探索新世界。

rift_s
时间线
2014 收购 Oculus,成立 Research
2018 年更名为 Reality Labs
- 2016 Oculus Rift 上市
斩获 9000 名早期用户的 240 万美元的众筹资金
- 2016 Touch 控制器发布
将玩家的双手带入了虚拟世界
- 2018 Oculus Go 发布
掀起 VR 头显普及风暴
- 2019 Rift S 发布
首次推出 Inside-Out 追踪技术

主线:从轻量级的 VR 到虚实融合的 MR,Quest 开启移动 VR 新篇章

MR 和 AR 将成为个人电脑的继任者,XR 将改变世界。

Meta 在 2019 年推出了功能、体验俱佳的 Oculus Quest VR 一体。产品一经发布,市场表现强劲,即成为了 VR 领域的热门产品。

Quest 2 作为其后续产品,进一步优化了佩戴舒适性与功能,延续火热势头。根据 IDC 数据,Quest 2 自发布以来售出了超过 1480 万台,成为迄今为止最成功的 VR 设备。

而旗舰级 Quest Pro 的发布,更象征着 Meta 在轻量级 VR 上的极致探索。并且,以低于 2000 美元的价格,提供了眼动追踪和自然面部表情。

Oculus Quest、Quest 2、Quest Pro,绝对称得上是消费级 VR 头显的代表作,我们将这三款产品的功能特性罗列如下,从中可以看到产品在外观、功能的变化。

Oculus Quest 是一款真正意义上的开箱即用、高清显示、沉浸式听音、虚拟现实切换、内容丰富 VR 一体机。屏幕单眼分辨率 1440 x 1600,OLED 材质。内置音频定位系统,保持声音始终围绕左右。采用多摄像头传感器,实现了虚拟世界与现实世界(黑白)的直通。内容愈加丰富的 Oculus Store 也为 Oculus Quest 带来了更多的可玩性。

akrales_190429_3371_0104

△ 图源:The Verge

Quest 2 采用更轻量化设计,首次搭载高通骁龙 XR2 平台,CPU 和 GPU 性能提升了一倍。单眼分辨率提升到了 1832 x 1920,双眼分辨率超过 4K。引入眼动、手势追踪,增强交互体验。

akrales_200904_4160_0135

△ 图源:The Verge

Quest Pro 采用 Pancake 光学方案,机身进一步得到瘦身。单眼分辨率为 1820 x 1920px,PPI 相比 Quest 2 提升了 37%。搭载了高通骁龙 XR2+ 平台,支持头部、手势和手柄追踪,以及低时延全彩视频直通。同时还新增了面部识别功能,配合眼动追踪,能够实时渲染至虚拟世界的画像之上。

meta-quest-pro-vr-8099

△ 图源:CNET

我不再需要在一个屏幕上工作,而是可以拥有很多屏幕,然后可以从任意多个角度与你分享,我可以通过单击切换工作区,我们的化身可以协作,就像我们在同一个房间一样,使用虚拟白板等比现实世界中的同类工具更好的工具。

继轻量级 VR 之后,MR 的产品推出,也是水到渠成。

从 Oculus Quest 到 Quest Pro,Meta 实现了从黑白视频直通到全彩视频直通的功能过渡。从眼动追踪,到手势追踪,再到面部识别,进而做到虚拟世界画像实时渲染。

2023 年,Meta 发布了首款面向消费市场的 MR 设备 Quest 3。

Quest 3 可以通过简单的触摸操作,从虚拟世界切换至虚实融合世界,与苹果 Vision Pro 有着极其相似的体验。

vlcsnap-2023-10-06-16h53m31s601-1696796700422

△ 图源:IGN

同时,Quest 3 还引入了专为 MR 打造的 Augments 功能,可以在物理世界中锚定虚拟图像。例如,你可以在卧室墙壁上挂一个虚拟钟表,可以将虚拟桌游放置在餐桌上,只要你每次戴上 Quest 3 都能在同一位置上看到它们。

并且和 Vision Pro 一样,你也可以坐在沙发上,在客厅布置一块虚拟大屏,观影或玩游戏。

虽然屏幕显示、空间交互方面没有 Vision Pro 那般极致,但 Quest 3 的佩戴舒适度、价格、生态内容,同样具备优势。

时间线
- 2019 Quest 发布
Meta 首款轻量级 VR 一体机
- 2020 Quest 2 发布
迄今为止销量最高的 VR 设备
- 2022 Quest Pro 发布
Meta 在轻量级 VR 上的极致探索
- 2023 Quest 3 发布
Meta 首款 MR 设备

插曲:视频通话终端、脑机接口,探索新的人机连接方式

在当年全球智能音箱风起云涌的大环境下,Meta 也做了两款带屏智能音箱 Portal 系列。

按照 Meta 给出的产品定位,Portal 是一款通过屏幕、AI 驱动的可提供社交、内容、娱乐的智能家居产品。

facebook-portal-plus-messenger-chat-2258

△ Portal Plus,图源:CNET

和其它智能音箱略有不同,Portal 并不以语音助手为主打,而将重心放在了社交上。内置了 Facebook Messenger,可以非常方便地供用于长时间视频聊天。人像追踪技术,还能始终将用户置于画面中间。

此外,利用摄像头与 AI,Meta 还在 Portal 顺道尝试了一把 AR 应用。

用户在聊天中可为自己头像增加动态特效,还有就是为儿童讲角色扮演故事。

Portal_AR-Mask_Fruit

△ 图源:Meta

在 story time 应用下,Portal 会开启角色扮演的讲故事的模式,父母或在远方的亲戚那一端的显示器会成为一个故事的提词器,他们在为孩子讲故事的同时,故事的人物角色和动画就会以 AR 的效果呈现出来。

有趣的是,Portal 出自 Building 8,这一团队以脑机接口的前沿研究而为人所知,但他们的技术落地产品却是一款视频通话设备。

这个 Meta 在元宇宙道路上的小插曲,很快就被悄悄暂停了。

未来:AI+AR,先将智能眼镜戴到眼前

这是一款首创、方便、易于使用的设备,不会强迫你在物理世界和数字世界之间做出选择,而是以一种无缝、直观的方式将它们组合在一起。这是我们对 AR 眼镜的长期愿景,我们现在正在朝着这个目标努力。

在 2021 年 9 月,Meta 选择与雷朋合作,推出了首款音频眼镜 Ray-Ban Stories

这是一款无显示、无智能的,纯音频眼镜。有着雷朋一贯的时尚外观,内置扬声器,可以佩戴眼镜听音乐、听博客、接听电话。

NRP_Ray-Ban-Stories_Thumbnail_%E5%89%AF%E6%9C%AC

△ 图源:Meta

但同时,它又不单单是一款音频眼镜,有着 Meta 的小心思。

Meta 在眼镜上,放了两颗 500 像素摄像头,使得眼镜可以拍摄照片、视频。起初我们会认为,拍摄可能主要为 Meta 社交平台贡献素材。

直到 2023 年 10 月,Ray-Ban Meta 的发布,让我们看到了 Meta 更大的野心。

Ray-Ban Meta 集成了 Meta AI,可以语音与眼镜互动。再借助摄像头的能力,眼镜试图在音频眼镜上通过 AI 大模型实现突破性创新。

im-826586

△ 图源:WSJ

几个月后,Meta 又为这款眼镜上线了一项名为「地标识别」的功能,为用户提供了一种新的多模态交互体验。借助眼镜上的摄像头,可以通过 AI 自动识别所处位置地标,并通过语言、文字提供详细的描述。

得益于过去 18 个月人工智能模型的快速突破,我们现在认为,我们在全面 AR 眼镜之路上所拥有的智能眼镜将具有更广泛的吸引力,并且比我们之前想象的更有用——即使在没有显示器的情况下。

从音频、拍摄,到 AI 多模态融入,以及最终的 AR 显示,这或许就是 Meta AR 眼镜演进的路径。

时间线
- 2020 Project Aria 亮相
Meta 首个 AR 眼镜概念机
- 2021 Ray-Ban Stories 发布
不只是一款时尚的音频眼镜
- 2023 Ray-Ban Meta 发布
集成了 Meta AI 的智能眼镜
- 2024 敬请期待
真正的 AR 眼镜

未来:Meta 首款 AR 眼镜即将到来,官方的爆料都在这里了

就像智能手机并没有取代笔记本电脑或台式电脑一样,AR 眼镜也不会成为 MR 头显的终结。相反,我们看到的是构成未来结构的一系列设备。

去年 3 月,Meta 曾披露过未来 5 年的产品图景。新的 AR 眼镜即是其中之一,当时给出的发布时间是 2025 年。

在最近的一次公开采访中,Meta 首席技术官 Andrew Bosworth 回应了新品发布时间:它将在不太遥远的某个时候发布。

而更多关于 Meta AR 眼镜的消息,也在谈话中有意无意地流露出来。

显示界面方面,可以确定的是,新眼镜肯定会配备显示屏幕,是一款真正意义上的 AR 眼镜

输入方式方面,眼球追踪技术将会是虚拟现实交互上最直接的交互方式

Andrew Bosworth 认为,虽然 Vision Pro 在人机交互上做出了一些成绩,但做得还不够好。但他并没有流露太多关于 Meta AR 眼镜的交互应用。

他指出,神经接口、空中打字、滑动和触摸、眼球追踪、手指点击融合等,这些交互新体验,这就是 Meta 现在正在做的事情。

的确,过去几年,我们已经不止一次地看到了 Reality Labs 展示「神经接口」的肌肉腕带,包括 EMG、超现实编解码器化身、情境化人工智能,这些新技术都将伴随着计算领域的下一个重大范式转变的发生,为我们提供革命性的人机连接和交互体验。

Andrew Bosworth 指出,Meta 在眼镜显示界面、输入方式上取得了巨大进展,但毫无疑问,控制屏幕成本、提升续航仍是目前最大的挑战。

另外,此前被放弃的空间视频拍摄功能,也有可能在新 AR 眼镜上回归。但 Andrew Bosworth 表示,暂时还未想到 AR 眼镜与 Quest 头显在空间视频上的互动玩法。

Ray-Ban Meta 智能眼镜已经为我们展现了 Meta AI 的实用性和娱乐性,接下来,生成式 AI 依然会是新 AR 眼镜的一大亮眼功能,但它不仅用于日常对话,它还将成为 Meta 未来构建元宇宙的重要功能应用,在社交和游戏虚拟场景的搭建上,AI 都将发挥价值。

未来,值得期待。


主笔:达达 / 深圳湾

审校:陈壹零 / 深圳湾

编辑:陈述 / 深圳湾

>>
Back to top btn