专为苹果智能打造的 iPhone 16,最大的亮点是一枚按钮
NOLO SONIC 2 VR 一体机支持手势追踪,仅双手即可执行点、按、捏等操作
该技术不仅适用于 NOLO SONIC 2,未来也将开放给更多合作伙伴。
今年 CES 期间,NOLO 展出了两款 VR 新品,分体式 NOLO VR GLASS,以及一体机 NOLO SONIC 2。
其中 NOLO SONIC 2 亮点颇多,它搭载了高通当前市面上商用最新芯片骁龙 XR2 平台,光学显示升级至 Pancake,机身体积也较前代大幅降低。头戴后方还设有一小块彩色副屏,可以进行电量数据、游戏状态查询、运动数据展示等显示。
更值得关注的是,官方宣称 NOLO SONIC 2 还能够支持手势手指追踪。
NOLO 在 VR 交互领域一直多有探索,之前曾演示过一款简易「戒指」的装置,可以实现与 VR 头盔间的 6DoF、手势识别功能,并支持按键式交互反馈。
而此次所推出的 VR 设备手势手指追踪,则让其 VR 交互技术更进一步。
就在近日,NOLO 通过一则视频,真实演示了这项新技术。
从视频内的动作可以看出,工作人员佩戴着 NOLO SONIC 2,裸手流畅的进行点、按、捏、拖拽、滑动等动作。
NOLO 相关技术负责人也在第一时间详细解释了这一技术细节与实现路径:
NOLO 的技术团队凭借人工智能的深度学习技术,通过真实手部图像和 3D 生成手部图像进行数据融合训练,使用数百万张手部图像训练了一个专门设计的深度神经网络,其中手腕和手指拥有 3D 空间位姿。
生成的手势数据通过 GSXR 协议传输到 3D 图形引擎渲染,显示到 VR 眼镜,实现现实世界和 VR 世界的手势姿势同步。
同时为了保证识别的实时性,NOLO 深度优化网络结构,保障在骁龙 XR2 芯片上单帧识别速度达到 5ms 以下,深度学习算法通过动态提取多帧数据中的手势信息,提高动作连贯性,以此达到流畅丝滑的识别效果。
相对于 VR 里的手柄操控,手势识别更加的自然直观。手势识别在一些简单操作诸如点、按、选择、拖拽上完全可以替代手柄,可以想象在接入特定的游戏 SDK 后,手势识别将在 VR 体验上发挥更加重要的作用。
NOLO 表示,该技术不仅适用于 NOLO SONIC 2,未来也将开放给更多合作伙伴。
编辑:达达 / 深圳湾