实现超低延迟(毫秒级)的VR直播

由于VR全景视频本身的码率有几十Mbps,分辨率也有大多为4-8k,导致传统的Hls直播有几十秒或几分钟的延迟,相对低一点的Flv直播流也会有个几秒的延迟,而flash在前几天已经被停止支持,导致RTMP直播流无法使用,因此WebRtc有可能成为替代RTMP直播的另一种方式,且WebRtc还不局限于音视频直播,未来必定有很大的用武之地。

本教程需要使用的VR 播放器为guoguicheng/mxreality.js: mxreality.js是一款支持普通视频,全景VR视频,直播普通视频,直播全景视频,支持hls,flv,webrtc直播协议,支持全景图的h5播放器,支持cubemap视频和图片。 (github.com),免费版本需要自己去了解实现直播信令服务器通讯和连接部分代码,当然也可以找收费版本直接使用

WebRtc直播流程大概为浏览器端创建offer,设置自己的LocalSescription 后带着sdp信息发给信令服务器,信令服务器收到后回复一份自己的信息给客户端,客户端保存返回的信息即可连接成功。

 

本人使用WebRtc测试下来发现,其再直播延迟和性能比现有的直播流方式都有优势。整体测试下来7Mbps的码率(测试推流设备的最大码率),2-4k的视频延迟在1s以内,完全满足了商业需求,比如在线视频VR会议系统,VR教学系统,全景监控系统,全景VR直播系统

如下中的视频中大概演示了WebRtc 全景直播的测试结果。本视频中使用的直播摄像头为Insta360 Nano S,买来有些年头了,是一款比较老的设备,新款应该支持更高的码率和分辨率。延迟已经到毫秒级别,当然这个延迟和码率和分辨率与带宽有很大的关系,如果自身码率很大,带宽却很小,那也是不行的

该播放器也支持一般的非VR全景直播方式,延迟比RTMP还低,可以到300毫秒左右的延迟

演示视频

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

_________MAN

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值