努比亚红魔携手京东方联合打造,全球首款 1.5K 屏下摄像全面屏正式交付!
小扎用生成式 AI 为智能眼镜带来了新玩法,下一站 AR 比库克来的快
未来四年,三款 AR 眼镜,销量数千万
凭借第二代智能眼镜 Ray-Ban Meta 上市后的销量和口碑表现,Meta 已经在笨重的 VR 和 MR 头盔之外开辟了新天地。
它是时尚的、轻便的,和普通太阳镜差不多,完全满足全天候佩戴。
它内置麦克风、扬声器、摄像头,尽管没有显示屏,但它仍然是一个有用的设备:不仅能听音乐、打电话,还能视频录制、视频直播、拍照、发短信,这些社交功能都是可圈可点的。
近日 Ray-Ban Meta 官宣了几项更新,让我们眼前一亮:
01. 多模态 AI
Meta 近日推出了新的 Llama 3 AI 模型,并将 Meta AI 集成到核心应用程序中。现在,Ray-Ban Meta 上的 Meta AI 体验正在升级为多模态 AI。
多模态意味着可以通过不同的模式与 Meta AI 进行交互。
△ 图源:TheAIGRID / YouTube
我们知道,Ray-Ban Meta 眼镜最初配备了语音控制,这是一种模式;多模态能力升级后,添加了摄像头作为另一种模式。现在,这款眼镜可以通过语音与人和 AI 交互,通过摄像头与物和 AI 交互。
去年年底,Ray-Ban Meta 发布了 Meta AI 的测试版,特别强调了一项名为「地标识别 / landmark identify」的功能,借助眼镜上的摄像头,识别所处位置建筑物和街景,并通过语音播报(眼镜)或文字说明(手机)向用户提供该地标的详细描述。
△ 佩戴 Ray-Ban Meta 体验「地标识别」功能,图源:Jasmine Uniza / YouTube
现在,通过强化的人工智能 Meta AI with Vision,使用眼镜上的摄像头识别文本、物品、物种,语音询问和获取相关信息。
从开篇的视频中我们可以看到,Meta AI 能够识别杯子里的勺子数量,能够辨别蝴蝶的品种,能够识别菜单上的文本并完成翻译。
值得关注的是,Meta 已向美国和加拿大用户开放了多模态 AI 功能。
此前购买 Ray-Ban Meta 的用户,固件升级后即可使用智能眼镜体验识别文本、识别街景、识别物体、识别动物,并通过语音对话查询相关信息和翻译了。
02. Hey Meta + Apple Music
使用智能眼镜聆听音乐,已经不是什么新鲜事。但操作上需要手动打开 iPhone 端的音乐程序聆听 Apple Music 歌曲。
现在,直接用智能眼镜实现对 Apple Music 的免提音乐控制和播放。
更新 Meta View 应用程序后,就可以将自己的 Apple Music 帐户直接绑定到 Meta 程序和眼镜上。Meta 使用的是 Apple Music 官方 API 授权完成的登录,支持播放/暂停/跳过歌曲,调高/调低音量,播放专辑、艺术家、播放列表或电台。
眼镜连接的 Meta View,所以语音唤醒词是「Hey Meta」而不是 Siri。语音点播之外,右镜腿上的触控板同时支持触控点播。
听歌时,还有一个新的语音命令,让眼镜告诉你正在播放的歌曲的名称。这与 Meta AI 支持的问答功能,在逻辑上是一致的。
△ 使用 Ray-Ban Meta 点播 Apple Music 的界面,图源:OtherwiseArt5810 / Reddit
而打通 Apple Music 则意味着 Ray-Ban Meta 作为一款 AI 终端,它的生态能力正在增强。这与使用 Rabbit R1 或 Ai Pin 打车、订餐的逻辑是一致的。
03. 视频通话功能
扎克伯格通过 Instagram 的帖子展示了与时尚博主 Eva Chen 使用新款 Ray-Ban Meta 的视频通话。
△ 图源:zuck / Instagram
此前,Ray-Ban Meta 支持视频直播、视频录制、拍照。此次更新添加了 WhatsApp 和 Messenger 的视频通话。
04. 新镜框、新款式
除了以上更新之外,Meta 此次还为眼镜带来了适合各种脸型的新镜框、新款式。
包括专为迈阿密奥运会打造的 Ray-Ban Meta for Scuderia 限量版。
下一站:Meta 的 AR 眼镜
尽管有丰富的、易于上手的功能,但 Ray-Ban Meta 没有显示界面,只能被定义为是一款音视频眼镜。而要缔造新的 iPhone 时刻,扎克伯格认为,非 AR 眼镜莫属。
近两年流传的关于 Meta AR 眼镜的较为可靠的信息(参考 2022 年 The Verge 的报道):
Meta 计划于 2024 年、2026 年和 2028 年发布三款 AR 眼镜。
Meta 内部有两个 AR 眼镜的项目,代号分别是:Nazare、Hypernova,前者独立于手机,后者则依赖于手机。
这两个项目和 Ray-Ban Meta 的未来版本,预计 2030 年 Meta 将销售数千万副智能眼镜。
而在产品层面,扎克伯格和几位高管为我们描述了未来 Meta 在 AR 眼镜的四个关键属性方面的设计细节——显示界面、空间交互、AI、系统和生态。
01. 显示界面
显示界面对于 AR 眼镜不可或缺。
扎克伯格近日在 Roberto Nickson 的访谈节目中谈到:Meta 未来的 AR 眼镜将有两个方向,一个是小屏幕,一个则是大屏幕。
小屏幕的 AR 眼镜可以用于显示通知、短消息,在与 AI 对话的时候,它可以把简单的答案显示在眼前,而不用语音朗读出来。
△ Meta Project Aria AR 原型机
大屏幕的 AR 眼镜则拥有更广阔的视野,在视频通话时真的会有全息投影,更贴近元宇宙(或者说 MR 设备现在的样子),但是它仍然是一副太阳镜,保持着体态的轻盈。
△ Meta 在 2021 年的概念展示:佩戴 AR 眼镜下棋,眼前出现的全息画面。
结合 The Verge 的报道,我们不难猜到,大屏幕的 AR 眼镜与 Nazare 的定位相符合(独立于手机),而小屏幕的 AR 眼镜则与 Hypernova 的定位相符合(依赖于手机)。
扎克伯格对于 Nazare 更感兴趣,认为它将是未来最接近于 Javis、接近于 iPhone 时刻的设备。
02. 空间交互
Meta 首席技术官 Andrew Bosworth 在月初 Reality Labs 十周年回顾后的采访中提到:神经接口、空中打字、滑动和触摸、眼球追踪、手指点击融合等,这些都在实验室的研究中。
△ Meta 在 2021 年的概念展示:使用 EMG 腕带让人们在没有物理键盘的情况下打字
03. AI
Meta 的 AR 眼镜硬件主管 Caitlin Kalinowski 也在近日在采访中为我们透露了更多信息,她是 Oculus Rift 时代的老员工。
她透露,对比当前 AR 眼镜,Nazare 的提升不只是在光学方面,Meta 近些年在 AI 赛道取得的成果也将应用到这款新的眼镜上。
言外之意,Nazare 将成为 Meta AI 的硬件载体,并拥有比前面展示的 Ray-Ban Meta 智能眼镜更强大的 AI 功能。
举例来说,借助眼镜上的摄像头和更多传感器,AI 能够看到你正在玩滑板,理解你的意愿,然后提供不同的上下文方式来辅助输入,在你完成一个动作后,自动帮你完成视频录制。
04. 系统和开放生态
Meta 放弃了开发自己系统的计划,将在 AR 眼镜的操作系统中使用 Android 操作系统的衍生产品。
此外,Meta 刚刚宣布了向第三方设备制造商开放 Horizon OS 操作系统,华硕、联想和微软 Xbox 将成为第一批为该系统开发新款头显的合作伙伴。尽管这是 Meta 在 VR 产品线的策略,但开放生态系统的态度无疑对于 AR 眼镜有着参照意义。
湾里小结
与时下大热的 AI 硬件 Rabbit R1 和 Ai Pin 相比,新款 Ray-Ban Meta 的可穿戴性毋庸置疑,更适合 7x24 小时佩戴,并且拥有更多「实用」功能。
如今,通过 Meta AI 的升级,Ray-Ban Meta 充当了 AI 载体,不仅可以识文、识物,还可以语音对话。
△ 图源:Yuka Ohishi / YouTube
就新的 AI 能力,虽然目前还没有素人的最新评测流出,Meta 也没有就 Ray-Ban Meta 的端侧 AI 与应用生态的发展做进一步的说明,但结合 Meta 的两个内部 AR 眼镜计划,大的方向已经很清晰了:
没有屏幕的 Ray-Ban Meta 智能眼镜没有虚拟只有现实、更注重与现实生活的交流;
小屏幕的 Hypernova 是智能手机的延伸,它的界面是文本的、符号化的;
大屏幕的 Nazare 则是 Meta 最想要的元宇宙界面,它是虚拟与现实通过 VST 而不是 OST 叠加的。
三个方向的产品都伴随着 Meta AI 模型的进化而更智能,朝着 AI 智能体的方向进化。
我们离 iPhone 时刻更近了。
主笔:周森 / 深圳湾
编辑:陈述 / 深圳湾