三星 AR 眼镜即将于下月亮相,搭载多项 AI 功能
下一代 HomePod 将内置深度摄像头,实现远距离的 Face ID | 专利解读
不仅为 Siri 带来了眼睛,还有更强的身份和方向辨识能力
据 Patently Apple 报道,上周,美国专利商标局公布了苹果公司的一项专利申请,展示了新一代苹果智能音箱 HomePod 的原型。
在原有 Siri 语音交互的基础上,HomePod 通过一套内置的深度摄像头系统,实现远距离的 Face ID 面部识别和眼神控制。
专利还显示,HomePod 还可以配对多个外置摄像头设备,用户可以把它们放置在房间的任一角落,以协助 HomePod 更好辨识眼神的方向和距离。
专利详解:新增眼神识别,帮助 Siri 确认语音指令的方向
专利图为我们描绘了几种 HomePod 通过眼神定位来实现指向性语音控制的场景用例。
当用户用 Siri 唤醒 HomePod 请它打开或关闭房间任一位置的一盏灯时,在系统的协同下,HomePod 可以辨识用户的眼神所指示的方向,并执行相应的操作。
以下 8A,8B,8C 三组专利图展示了这一场景应用的具体流程。
图 8A 中,用户向 HomePod 发出命令「打开 xx 灯」。
图 8B 中,用户在发出语音指令的同时,先将眼神瞥向 HomePod,再将眼神移动到想要打开的灯上。
图 8C 中,Siri 响应用户请求,并回复「xx 灯已打开」后的情况,即 xx 灯打开了。
这一组专利图中,除了 HomePod 之外,我们还看到了两组配件摄像头(#816A),其中一个在书架顶部的搁板上,另一个则位于右侧的窗台上。
图 8J 则为我们展示了另一种用例场景:当用户背对 HomePod 或不看 HomePod 时,配件摄像头设备(#816A)将协助辨识用户的眼神(指令)方向,继而准确打开用户想要打开的那盏灯。
专利详解:远距离的 Face ID,帮助 Siri 辨别用户身份
以下 10A,10B 两组专利图展示了 HomePod 对用户身份的辨识能力。
从图 10A 中,我们可以看到一位女性用户与 HomePod 进行眼神交流,并通过语音指令表达了想要打开 xx 灯。
图 10B 则展现了 HomePod 对女性用户(而非旁边的男性用户)的辨识能力。Siri 确认是女性用户发出了请求。
这表明,HomePod 内置的苹果下一代深度摄像头具备在一定距离内使用 Face ID 的能力。当然,前提是用户需要在 iDevice 上设置 Face ID,就像我们在使用 iPhone 的 Face ID 一样。
其他新增功能:HomePod 上的 LED 灯组协同识别结果反馈,Apple Watch 补充调节灯光
上图的图 6o(A,B,C)(字母 o)展示了 HomePod 的摄像头系统与顶部的 LED 灯组进行协同的具体细节。
HomePod 上的 LED 灯组会对用户的语音指令做出反馈。比如,无法理解用户命令(摄像头系统识别眼神方向失败)或无法确认用户身份(远程 Face ID 识别失败)时,会显示不同的颜色。
在图 8D,8E 中,苹果甚至还展示了通过 Apple Watch 远程调节灯光明暗度。
而图 1A 的示意流程图,则展示了苹果利用光学传感器控制器设计的 HomePod 的 I/O 子系统、深度相机控制器和传感器、强度传感器控制器等的工作机制。
延伸思考:深度摄像头 + 传感器数据融合,让语音助手有了辨别身份和方向的眼睛
苹果自 iPhone X 开始,就将 3D 深感摄像头系统(TrueDepth Camera System)用于 Face ID 人脸验证和 AR 效果的叠加。传言今年秋季发布的 iPhone 12 将搭载后摄 3D 深度摄像头系统,以提升拍照、视频和 AR 效果。
△ iPhone X 前置 3D 结构光摄像模组
实际上,早在 iPhone X 发布的 2017 年,就有传言称,苹果可能在 2019 年推出配备 3D 深度摄像头的 HomePod,并内置已在 iPhone X 上应用的 Face ID 面部识别技术。
消息来自台湾英华达电器(Inventec Appliances),他们是苹果 AirPods 和 HomePod 以及 Sonos 的主要供应商。在一次财报会议上,其总经理 David Ho 表达了对下一代智能音箱的趋势看法:
企业开始着手把面部识别、图像识别等功能整合到智能音箱中。
△ Face ID
苹果专利申请书则进一步向我们验证了,下一代 HomePod 将具备更强大的交互能力——它将同时具备语音识别、面部识别、距离和方向识别的能力,并且,它将具备比 iPhoneX 更远距离的 Face ID 验证能力。
具体来说,通过内置的一个或多个深度摄像头传感器,采集环境和视点数据,再与外设的配件摄像头的数据叠加,创建场景内的物体(例如面部)的三维模型。
而 HomePod 原有的 Siri 语音助手,也就因此增加了视觉识别的能力。当我们向 HomePod 发出语音指令时,Siri 就可以通过叠加的数据判断声音的身份和方向,相当于多了一双眼睛。
这种通过传感器数据的融合来提高辨识度的做法,在 AirPods 上也有先例——AirPods 通过双麦克风 + 骨传导的方式,对说话者的身份进行辨别,从而实现 AirPods 更好的语音识别和通话降噪。
苹果为下一代 HomePod 配备摄像头的设计,同时也让我们联想到了国内 AI 公司 Rokid 在 2015 年发布的 Rokid·Alien——国内最早一批发布的智能音箱。
在 Rokid·Alien 椭圆形的背光显示屏上方,Rokid 为它预留了一个摄像头。尽管当时只作为扫码联网使用,但也让我们联想到了未来智能音箱在视觉能力方向的扩张。
△ Rokid·Alien 透明版
有意思的是,受苹果设计哲学熏陶的 Rokid,在过去的几年里,并没有在智能音箱「带屏幕」的方向上更进一步,而是在 AR 方向有了更长足的发展。其产品设计之远见,可见一斑。
小结
最后,我们为 HomePod 的新专利做一下总结:
苹果最新的专利显示,新一代 HomePod 将在原有 Siri 语音交互的基础上,通过一套内置和外设的深度摄像头系统,实现远距离的 Face ID 面部识别,以及眼神方向的识别。
据悉,苹果专利申请已于 2019 年第三季度提交,目前尚不清楚这种产品上市的时间。
微信号:shenzhenware
主笔:陈壹零 / 深圳湾