最近用ffmpeg做了一个picoxr直播功能,发现在seethrough模式下,获取不了VST摄像头硬件的画面。
头盔中画面是包含环境的,如下:
但是rtmp直播后,vlc拉流的画面如下:
背景画面是黑色的,采样不到VST的环境画面。
上pico开发官网看了下文档,发现
原来VST画面是后期合成的,也就是说开发阶段获取不到摄像头画面。
这不合理啊,现在早就是短视频/直播时代了,这样封闭接口做不了功能,完全跟不上时代。(PS:可以挂投屏直播投屏内容,就是挺脱裤子放屁的)
当然为了还是照例在google上搜索了解决方案,得到官网github的推荐:PicoXRGetCameraFrame,不过下面居然有这一句:
还得买企业版联系官方给绑定,也就是说只能小规模定制性开发VST直播功能,闹呢?
这不是活该pico走下坡路?接下来还有pico5+的硬件开发吗?跟不上时代啊。
抱怨归抱怨,最终选择了混合直播模式,也就是自定义背景360全景图,根据pico的spatialAnchor功能,采样环境中不同位置的360全景图,然后定位用户空间坐标切换360全景图,如下:
希望pico后续尽快开放VST功能到消费端,毕竟现在全民短视频/直播时代,什么手机、无人机、运动相机都是大大方方摄像直播,不差一个头盔考虑隐私问题。