Uploads%2farticles%2f11506%2fwechatimg88
|
2017-04-21

Vidoo 发布车载交互解决方案 Vdrive,打开手势识别技术在 PC、移动端的下一个应用

近日,在第十七届上海国际车展在中,专注于人机交互的 AI 公司微动 Vidoo 展示了其手势识别在车载应用最新成果——微动 Vdrive。

在这套微动 Vdrive 车载手势识别解决方案中,采用了 120Hz 高频双目深度传感器,配有 SOC 架构 FPGA 芯片,支持 I²C、Uart、USB 等物理接口。兼容 WinCE/Qnx/Android/Linux 多种中控嵌入式操作系统。

据微动相关负责人介绍,这种设计在保持了 Vdrive 的低耦合度的同时,大大降低手势识别算法对于车机整体性能的要求,使得手势识别可以和其他应用一起流畅运行

在微动 Vdrive 的工作过程中,双目深度传感器摄像头捕捉驾驶员手部的动作图像,经过fpga 独立算法单元计算,向汽车中控发出指令级信息,接收到信息的系统则按照指令执行操作。

从动作类型进行区分和归类,微动 Vdrive 支持单指 TAP、双指前戳、食指转动、五指左右挥动、手掌闭合及张开、五指向下 TAP 这 7 种手势的识别。

通过这些手势的识别,可实现切换、选中、取消等功能,完成开启语音识别/跳转控制界面、调节音量、播放/切换歌曲、选择联系人/拨打电话、挂断电话等操作。

微动手势识别技术的布局:从桌面 PC 到移动设备,再到车载应用

微动于 2011 成立之初就推出自主研发的双目嵌入式手势识别产品微动 Vidoo(主要针对桌面 PC,类似 Leap motiom)。经过不断的投入研发,公司于 2015 年推出全球首款可应用于移动端的手感操控设备——Vidoo Primary,该设备还实现了安卓系统的手感控制。

可应用于移动端的手感操控设备——Vidoo Primary

2016 年 4 月,微动发布 VidooSDK for Unity 5.x,开发者可利用该套件做进一步开发,将手势交互技术应用到 VR 中。基于 VR 游戏、旅游、教育等特殊应用的交互需求,微动于 2016 年下半年推出基于微动 Vidoo Primary 的光学手柄和空间定位解决方案,从而形成手感操控+光学手柄+空间定位的 VR 交互闭环。

期间,微动曾在 2014 年底获得真格基金 Pre-A 轮融资,并于 2016 年 上半年获得来自如山资本、上汽创投等数千万人民币 A 轮投资。

在 2015 年,微动以北京研发中心为基础,成立 HMI( Human Machine Interface)设计部门,专注于多通路交互技术人机界面的设计。同时,微动开始将汽车交互作为研究的主要方向之一。后来,在上汽创投的支持下,微动得以跟行业资本和技术进行深度合作,加快其研发、部署的脚步。

将手势识别技术搬到车载场景中:除了解决信息输入的痛点,更多的是自然车机交互方面的考虑

在启动汽车交互项目的前期,微动做了大量的前期调查工作并发现,随着汽车中控功能的多样化,车上的按钮也逐渐增多,且目前车载系统交互 70% 的操作依然依赖于物理按键。另外,采取触屏操作的车载界面大多为手机屏幕的设计,并未考虑到驾驶员以及驾驶环境的特殊情况,在复杂文字的输入等存在天然劣势。

为此,微动起手解决车机交互这一问题,从车机交互中导航、电话、播放音乐等高频需求出发,对手势识别技术的算法进行优化裁剪,打造出定制化的指令设计、UI 设计、操作反馈设计。

相比微动此前为桌面 PC、移动端打造手势识别解决方案,应用在车载环境下的手势识别方案则有另外限制和要求。微动 HMI 设计总监李文玺向深圳湾(公众号 ID:shenzhenware)解析道,其中包括以下几个设计难点:

a.在驾驶过程中,为了安全起见,驾驶员一般将视线保持在前方道路而不分神看屏幕,因此不太能看到中控屏幕的提示,这就要在设计上让驾驶员实现「盲操控」

b.与 PC、移动端的操作环境相比,车内空间相对较小,在操作过程中更容易受到干扰(例如右手的一些驾驶操作、副驾驶乘客的肢体动作干扰等),需要有一定的防误触机制

c.车内环境也相对复杂,比如需要应对极端光照环境(白天的强光以及隧道、夜晚的黑暗环境),这一点则通过机器视觉的复杂方法来应对。另外,对于复杂的光照环境,通过近红外 LED 光源补光的办法,减少外界光环境的影响。

d.车规要求严格

此外,在这套手势识别解决方案设计的过程中,微动发现,手势识别在一些特定功能的实现上会受到限制,如驾驶状态下的的导航地址、电话拨号等信息的输入。为此,微动 Vdrive 结合了语音识别技术,用以完成驾驶场景下的文字输入,手势识别则用以完成下达指令的操作,两者互为补充,共同实现更自然的人机交互方式

微动 Vdrive 系统架构图

车载手势识别应用的下一个方向:更深层次的中控操作、后排娱乐操作系统以及 HUD

李文玺表示,微动 Vdrive 同时适用于整车和前装,随着手势识别在汽车上的应用越发受到关注,其市场保有量也将得到提升。

接下来,在车载手势识别方面,微动将技术的下一个应用方向瞄准了更深层次的中控操作、后排娱乐操作系统以及 HUD

其中,以 HUD 为例,HUD 将中控屏幕所显示的重要信息投影到前挡风玻璃上,让驾驶员保证视线不离开前方道路的情况下实现信息的实时反馈,仅解决了显示以及安全的问题。在手势识别技术的接入下,可满足 HUD 系统输入端的需求,整体上提升车机交互体验。

Back to top btn