昨天下午在科兴科学园参加了由 Rokid 与 Cocos 携手举办的 XR 技术开放日,主要体验了 Rokid Air 眼镜,以及 Cocos Creator 对 XR 开发的支持,此文主要讲述我的见闻,官方文章会附在最后。

VR

Rokid Air

先来看一下设备的实拍:

Rokid Air

Rokid Air

Rokid Air

Rokid Air

Rokid Air

Rokid Air 是一款 2C 的 AR 眼镜,整体重量很轻质,我有戴近视眼镜,也可以再佩戴上 Rokid Air,就能在面前的一块矩形区域看到显示的内容,手机上需要使用 Rokid Air App,充当交互器,手指滑动手机屏幕就可以控制 Rokid Air 上看到射线,通过射线去选择 2D/3D 场景的内容。

Rokid Air 采用的是一种分体式的设计,需要通过有线和手机相连,手机上处理渲染,再将渲染的图像传输到 Rokid Air 进行显示,这也是 Rokid Air 重量可以比较轻质的原因,Rokid 工作人员说此款产品的目的是为了替代大屏显示,从便携性上与大屏显示器形成差异化,我认为这个产品思路是可行的,先从解决一个点的问题开始,推出一款产品,接收市场反馈,再迭代改进,Rokid Air 大概是在 2021 年底上市,累计销量有 10 万台。

我在 Rokid Air 上体验了一款汤姆猫跑酷游戏,就是控制汤姆猫左右移动,跳跃,没什么特别大感受;一款寻宝之类游戏,名字记不清了,做了一个特别的交互,通过做类似啄木鸟啄木的动作来互动,一是现场做这个动作比较尴尬,二是动作识别不是很灵敏;还有一款祖玛龙珠游戏,龙珠是放在一个 3D 场景中,通过射线发射龙珠,几个颜色相同就消失,上手很快,沉浸感比手机上有提升,是我体验到最好的一款。

最后,具体怎么上手开发 Rokid Air 的应用,我听的比较一知半解,从下面这个宣传册入手应该可行:

Rokid AR Platform

Cocos Creator XR

Cocos 是国产的开源游戏引擎,是伴随移动互联网发展而成长起来的,我早有耳闻。

因为之前没有缘分,我从来没有用其开发过产品,所以很匆忙地按照官宣的文章,下载了 Cocos Dashboard,摸索着安装了编辑器,再安装 XR 插件,后来一直没找到 XR 示例工程创建入口,在现场同 Cocos 工程师请教后,先要切换到中文语言,才有如下 XR 案例:

Cocos Creator XR

然后需要找到 scene 目录下的场景,打开就可以了:

Cocos Creator XR

还可以在浏览器里面预览:

Cocos Creator XR

因为我有 Pico Neo 3,这个示例工程可以 Build 出来在上面运行,我自己 Build 时,因为遇到一些 Android SDK 和 Java SDK 配置相关的问题,没有能够成功,应该不难解决,后面有时间尝试了再来分享。

在现场,我有在 Pico Neo 3 上体验用 Cocos Creator XR 制作的两个应用,一个应用类似线上展会,可以通过射线移动,虚拟左手上有个 UI 绘制的菜单界面,可以做些场景切换的事情,有基本的沉浸感和交互,另一个应用就是上面的示例工程,主要想体验一下和物体的直接交互,但是还是通过射线将那个白色立方体移动到面前,尝试抛出去几次但是没有成功,后来会议开始了就匆匆结束了体验。

Cocos 的下层引擎部分由 C++ 编写,上层的 TypeScript 引擎处理开发者编写的游戏逻辑的脚本,如果你会前端,没有什么语言转换的成本,前段时间火爆的游戏《羊了个羊》是一个 9 人团队使用 Cocos 开发的。

Cocos 在 XR 方向选择的也是 OpenXR 来适配不同的 XR 设备,几乎也是业界的共识,Cocos Creator XR 制作的《幽灵射手》听说体验很好,可惜我没有体验到,这块游戏 XR 版说是后面会开源。

下面说一下 VR 开发,引擎应该提供的基础功能或者框架,Cocos 在现场也有分享,和 Untiy XR Interaction Toolkit 提供的功能几乎一致,但是实际效果如何还是需要实际开发过才有体会,我有用 Untiy XR Interaction Toolkit 开发过相关 Demo,后面也会分享,所以这里只是写一个列表:

  • 化身
    • 头显映射
    • 左右手映射
  • 运动
    • 传送
    • 移动
    • 转向
  • 交互
    • 射线交互
    • 直接交互
    • UI 交互,自然也要提供 UI 组件

最后,说一下 Cocos 在 AR 上规划,在手机平台上,会支持苹果 ARKit,谷歌 ARCore,华为 AREngine,目前 AR 在 2C 上应用场景基本上就是手机,比较典型的就是 AR 营销,在技术上,如果要在多个手机系统上实现,一般都会借助商业的 AR SDK,我还没有见过开源的解决方案,所以比较期待,后续也会分享这方面的内容。

尾声

虽然 XR 在很多方面还有各种各样的问题,但是我的体会是,每过一段时间再去看,就会发现有很多新的进步,这样也是我会把 20% 的时间投入到元宇宙上的原因。

官方文章: