早在今年 6 月，XR 公司 Rokid 即与游戏引擎公司 Cocos 达成战略合作，通过技术和生态支持，全链路助力 XR 开发者。

而培养 XR 内容开发者，推动生态成熟，也是合作中的重要环节。

9 月 24 日，双方首次在深圳联合举办了一场集主题分享、产品体验的开放日活动，邀请了包括 Rokid、Cocos、网易等技术生态专家，与在场的超 200 位开发者们，就行业发展趋势、内容研发的挑战、技术落地和生态扶持等方面进行了深度探讨。

打破开发者创作「瓶颈」，XR 内容编辑器发布

随着 XR 行业逐渐进入爆发期，应用场景不断深入，市场也需要进一步提升内容开发效率，降低开发门槛。

Cocos XR 技术总监王庆利介绍了当前 XR 行业所普遍面临的痛点，如：高分辨率带来的高运行压力、透镜畸变、眩晕问题、定位的稳定性与实时性等。

针对这些痛点， Cocos 率先推出了 XR 内容一站式解决方案，即基于 Creator 编辑器的 XR 拓展套件，旨在降低 XR 开发技术门槛，并通过自身的高兼容性抹平不同设备与平台之间的差异，助力优秀内容的多平台分发与成长。

△ Cocos XR 技术总监王庆利

Cocos XR 产品经理翟昊宸认为：存量项目快速转化、多平台适配、网页端快速预览、图形后端智能化是 Cocos CreatorXR 的四大特性优势。

△ Cocos XR 产品经理翟昊宸

值得一提的是，Cocos CreatorXR 还全面集成了 Rokid Air 的内容开发环境，即 Cocos 开发者无需其它 SDK，就能将构建好的数字内容轻松发布到 Rokid Air上运行。

目前，基于 Cocos CreatorXR 开发的 AR 游戏《幽灵射手》XR 版已经正式登陆 Rokid Air 应用商店，全新的游戏界面和交互体验受到了众多用户的欢迎，一度霸榜 Rokid Air 应用商店。

开放硬核视听和交互技术，助开发者「跃升」

当下的 XR 生态内容仍然以轻量应用为主，但能够支持更自然的交互体验，更具开放性、社交属性，能提供更多价值的 XR 应用将是必然发展趋势。

开发者如何从轻量应用实现跃升，打造出更加精品的应用？

Rokid AR 软件研发负责人杨剑、应用平台产品负责人朱雷分享了 Rokid 在数字人、3D 内容创作、空间协同、视听交互、手势交互等方面为开发者带来的硬核技术支持。

在朱雷看来，Rokid 更关注的是如何将真实世界与虚拟世界融合，因此在底层技术上，也更关注感知、理解、协同、展现、数字资产五个方面的能力。

围绕这五个层面，Rokid 有着自己的思考和探索。其中，在 XR 互动技术方面，Rokid 就通过 6DoF 空间声场、视觉感知算法、实时音视频等方面的技术能力，助力 XR 开发者打造全新的视听体验。

△ Rokid 应用平台产品负责人朱雷

在视觉方面，Rokid 推出了包括物体识别、手势交互、视觉定位等技术的视觉感知端云一体的 PaaS 平台。

可以通过「视觉定位+语音+手势交互」的强强组合，支持开发者在文旅展陈、数字展厅、娱乐等方面突破物理空间限制，打造出能够实现移步换景等更具互动体验的应用。

目前，这一能力已被运用到钉钉在 2022 秋季钉峰会上发布的 AR 数字展厅解决方案中，并且首个企业 AR 数字展厅也已在钉钉园区展厅落地。

在听觉方面，Rokid 自研 6DoF 空间声场技术，采用了 HRTF 和 3D 空间处理技术，以及针对距离的 EQ 补偿技术，渲染出因空间位置变化和遮挡带来的声音空间感的变化，为人耳带来更真实的听觉体验。这一能力已集成 SDK 对外开放，支持开发者在游戏、娱乐影音等应用中打造更具沉浸感的声音体验。

杨剑则分享了 Rokid 自研的 YodaOS-XR 操作系统、基于 Air/Air Pro 眼镜的 UXR SDK，以及全新升级的 Rokid 自研多人在线协同应用 MSpace，并正式对外发布 3D 内容创作平台 MStudio，邀请开发者一同共建 MSpace 生态。

Rokid 自研的 YodaOS-XR 操作系统，涵盖了 Rokid 硬件和软件的能力。

系统基于传统的 OS 作为底层，在这之上构建了较为完善的感知系统、理解系统和展现系统，包含了对应的 AI 和 AR 能力、XR 云服务以及多个服务和引擎，如百灵鸟语音服务，空间引擎和数字人引擎。

同时，也为开发者提供了大量平台 SDK 和基础 SDK，并支持 OpenXR 标准，可以进一步降低开发者开发门槛。

△ Rokid AR 软件研发负责人杨剑

除了系统层的支持，杨剑表示，基于 Rokid Air/Air Pro 眼镜等硬件设备，Rokid 还为开发者提供了 UXR SDK，支持双目立体渲染、3DoF 的头部追踪，以及多模态的交互。

其中，交互方式可使用按键触屏、头控、手势、语音、鼠标、游戏手柄、虚拟手柄等；离线语音识别则支持中/英文指令；手势识别支持 4 种 2D 手势类型，以及 21 个关键点信息，支持左右手识别，并且内置了三种虚拟手柄类型可控切换。

MSpace 集成了数字人、空间协同等技术能力，其中数字人采用实时音频驱动，可以支持捏脸换装；空间协同则实现了低延时多人同步，支持模型互动、数字人表情和动作与真人实时同步等。

这些能力都将通过 SDK 的方式提供给行业开发者，助力开发者突破行业技术难题，快速构建 AR 空间协同应用。MStudio 作为 3D 内容创作平台，可以为开发者提供在线 3D 模型。

空间站计划+开发大赛双重赋能，打造开发者的「高光时刻」

XR 生态的构建还离不开工具方、设备方、内容平台方以及各位开发者的共同努力，Rokid 与 Cocos 也正在通过各种方式降低开发者的开发成本、获得更高回报。

Cocos 生态总监大表姐介绍道，在打造 XR 开发工具链之外，Cocos 还为开发者准备了大量教程和演示项目：比如由我们 XR 团队基于 Cocos CreatorXR 开发的《幽灵射手》XR 版，后期也将开源给大家。

△ Cocos 生态总监大表姐

同时，网易智企 CEO 助理、游戏解决方案架构负责人沈乔治还从扶持政策、运营策略方面进行了分享。

△ 网易智企 CEO 助理、游戏解决方案架构负责人沈乔治

Rokid 生态拓展负责人冉旭则表示：Rokid 为开发者们量身打造的「若琪空间站」开发者助力计划，将在硬件设备、算法能力、开发支持、市场推广等方面为开发者提供助力，同时联合多个行业头部企业与 VC 成立 10 亿人民币规模的生态智投联盟，对优秀的开发者直接投资，极大推动了 XR 生态发展。

△ Rokid 生态拓展负责人冉旭

在大力扶持开发者的同时，Rokid 还在前不久正式启动首届全球 AR 应用开发大赛。大赛将通过丰富的奖项设置、资源和商机支持等，鼓励更多开发者基于 Rokid 的开放能力与平台服务、Cocos 3D 引擎和声网 RTE 服务，创造更多优秀的 XR 应用与游戏，实现技术、产品与商业创新，为全球用户带来更丰富、优质、新奇的 XR 体验，进一步加速 XR 行业生态繁荣。

编辑：达达 / 深圳湾