Uploads%2farticles%2f15930%2fwechatimg1806
|
2023-02-07

NOLO SONIC 2 VR 一体机支持手势追踪,仅双手即可执行点、按、捏等操作

该技术不仅适用于 NOLO SONIC 2,未来也将开放给更多合作伙伴。

今年 CES 期间,NOLO 展出了两款 VR 新品,分体式 NOLO VR GLASS,以及一体机 NOLO SONIC 2。

其中 NOLO SONIC 2 亮点颇多,它搭载了高通当前市面上商用最新芯片骁龙 XR2 平台,光学显示升级至 Pancake,机身体积也较前代大幅降低。头戴后方还设有一小块彩色副屏,可以进行电量数据、游戏状态查询、运动数据展示等显示。

WechatIMG1807

更值得关注的是,官方宣称 NOLO SONIC 2 还能够支持手势手指追踪。

NOLO 在 VR 交互领域一直多有探索,之前曾演示过一款简易「戒指」的装置,可以实现与 VR 头盔间的 6DoF、手势识别功能,并支持按键式交互反馈。

%E6%88%AA%E5%B1%8F2021-12-03_%E4%B8%8B%E5%8D%885

而此次所推出的 VR 设备手势手指追踪,则让其 VR 交互技术更进一步。

就在近日,NOLO 通过一则视频,真实演示了这项新技术。

从视频内的动作可以看出,工作人员佩戴着 NOLO SONIC 2,裸手流畅的进行点、按、捏、拖拽、滑动等动作。

%E6%88%AA%E5%B1%8F2023-02-07_01

NOLO 相关技术负责人也在第一时间详细解释了这一技术细节与实现路径:

NOLO 的技术团队凭借人工智能的深度学习技术,通过真实手部图像和 3D 生成手部图像进行数据融合训练,使用数百万张手部图像训练了一个专门设计的深度神经网络,其中手腕和手指拥有 3D 空间位姿。

生成的手势数据通过 GSXR 协议传输到 3D 图形引擎渲染,显示到 VR 眼镜,实现现实世界和 VR 世界的手势姿势同步。

同时为了保证识别的实时性,NOLO 深度优化网络结构,保障在骁龙 XR2 芯片上单帧识别速度达到 5ms 以下,深度学习算法通过动态提取多帧数据中的手势信息,提高动作连贯性,以此达到流畅丝滑的识别效果。

相对于 VR 里的手柄操控,手势识别更加的自然直观。手势识别在一些简单操作诸如点、按、选择、拖拽上完全可以替代手柄,可以想象在接入特定的游戏 SDK 后,手势识别将在 VR 体验上发挥更加重要的作用。

NOLO 表示,该技术不仅适用于 NOLO SONIC 2,未来也将开放给更多合作伙伴。

编辑:达达 / 深圳湾

>>
Back to top btn