AR苦内容久矣。
过去一段时间来,AR厂商们都争相推出消费级AR眼镜,在重量、续航、功能上卷出新花样,但也逃不脱被人们诟病:
除了看片还能干啥?
当下的消费级AR到底是不是真·AR?对于用户来说,AR眼镜的作用,如果只是将一台投影仪缩小到镜片大小架在眼前,很难长期满足消费者不断涌现的新需求。
一直和手机借内容生态?
似乎也不可取,毕竟AR最大的想象力就在于如何成为一个新型独立终端。更何况手机内容都局限在2D,和增强现实基本定义里反复提及的3D也有本质性区别。
所以应该怎么办?
卖空自家6万台AR眼镜库存的行业头部玩家,最近顶着元宇宙退潮交出了自家答卷:
通过一个AR应用,他们让普通人在10分钟内建造属于自己的AR数字空间
当然这是开玩笑,其背后真正的目的在于,能够让更多开发者、创作者,能够来AR空间内发挥自己的想象力,壮大AR内容生态,并进一步达到推动AR向大众层面渗透。
所以这款应用到底是什么?仅凭它就能实现如此宏大的目标吗?背后又揭示了AR行业的哪些暗涌?
灵境是什么?
Rokid创始人兼CEO 祝铭明表示,灵境是AR行业一个划时代的产品,可以让每一个人都参与到AR数字内容的创作中。
官方定义,灵境是一款AR空间创作工具,能做的事就是在3D空间内创作AR内容,而且门槛很低,人人可用。
具体操作步骤分为5步:
-
手机扫描空间
-
云端空间重建
-
在线场景布局
-
多端一键发布
-
AR终端体验
也就是说,通过普通手机摄像头,灵境就能获取到空间信息,然后在云端进行重建。之后就可以按照自己的想法完成创作了。
创作好的AR内容可以直接发布在平台上,一个空间内可以有多个人发布自己的创作。最后只需戴上AR眼镜就能体验。
整个过程下来,一个10平米左右的空间,只需10分钟就能搞定。
据介绍,灵境的内容渲染也是基于Rokid自己的3D渲染引擎,这样可以极大降低整个内容创作、落地的时间和人力成本。
要知道,目前AR内容创作的落地过程,基本上都还是一个长链条流程。
而且灵境还强调一大特点:协同合作。
不仅实现了多端一致,即在手机、PC、AR眼镜上都能看到创作内容空间;也实现了让多人参与到同一空间内的AR创作。
这个定位明显更偏向于大众化,行业内用户和普通消费者都能上手体验,与此同时也会提出一些新的要求,如高并发需求、终端算力、内容创作效果等。
那么问题来了——
灵境是如何实现的?
这背后其实是一整套技术栈的全方位升级,包括硬件、系统、云服务、算法等。
首先来看硬件方面,这一次配合灵境的发布,Rokid将AR眼镜从传统“双鱼眼+RGB三摄方案”升级为“单摄RGB轻量化SLAM”。
单目方案的好处很直接:结构简单、硬件设计复杂度降低、主板面积小、成本功耗比大幅降低,用户侧能直接感受到佩戴舒适度和续航能力上的提升。
在落地应用上,据悉灵境搭载的硬件也是只有一个摄像头的。
因为把相机数量压缩到最后一个,单目方案可以带来更低功耗、更简结构,更低成本等诸多优势,舒适的佩戴和更普惠的价格,符合灵境的“让AR更普惠”的需求。
但单目方案也确实有短板,比如它无法得到绝对的尺度信息,所以需要通过初始化恢复尺度信息,而初始化的好坏直接影响算法最终的精度。单目计算绝对尺度准确性不够高,尺度收敛也有不确定性,这些对单目SLAM算法开发带来很大的挑战,会直接影响到AR体验。
不过Rokid表示,目前行业内已经出现了相应的解决方案。
算法上,在IMU的辅助下,单目的静态初始化和动态初始化已经有了很多方案,初始化完毕以后基本上获得比较精确的绝对尺度先验。再结合比如基于滤波的算法,可以在后期使用过程中对各种SLAM参数持续优化,进一步提升算法的定位精度,同时基于深度学习的技术在SLAM算法上也有很多技术探索。
由此,也能感受到Rokid的理念是:AR产品不仅仅只是堆叠传感器,而是软件、硬件、算法和场景作为整体,给用户提供更舒适的AR综合体验。
软件方面的提升,主要体现在3D点云和SLAM方面。
并利用端云协同的方式平衡了算力、功耗和高并发几个方面的要求。
Rokid应用平台中心部门负责人Watson介绍说:
基于3D点云的视觉定位技术和设备端的SLAM技术(Simultaneous localization and mapping,同步定位和地图构建),可以类比自动驾驶中的道路高精地图和车辆空间感知。
在AR场景下,也有一些开发者拿点云作全局的粗定位,拿SLAM做局部精定位,两个松耦合在一起。
Rokid这次将这个松耦合,做了更深度的融合。实现了端上只做定位和跟踪,云上空间建图。
这种端云协同协作计算的方式,可以提升一些场景下的定位精度,如弱纹理、环境有变化的场景,同时也能降低移动端的计算功率。原理上主要利用了RTC(Real time communication,实时通信)在弱网对抗/低时延传输和视频图像压缩上具备的优势。
紧耦合的实现,依靠了Rokid全新升级的底层操作系统YodaOS-Master。
具体变化体现在XR系统、XR云服务和XR硬件三个层面。