(音视频开发)WebRTC进阶流媒体服务器开发-多人互动架构

多人实时互动之各WebRTC流媒体服务器比较 随着网络基础设施的提高,音视频实时通信越来越成为人们日常生活和工作中必不可少的需求。2011年 WebRTC的出现,则更加速了这种需求变为现实的可能性。熟悉 WebRTC 的同学应该都知道,WebRTC规范只定义了实时通信中客户端的行为,而没有规范服务端(包括哪些信令、数据如何流转)的行为。所以,你可以使用WebRTC库方便的实现 1:1 实时通信,但对于多人实时互动,光依靠 WebRTC库显然就无法完成要求了。那我们该如何实现多人实时互动通信呢? 阅读详情

一:多人互动架构方案

(一)WebRTC回顾,两层含义:

1.WebRTC是google开源的流媒体客户端,可以进行实时通讯,主要应用于浏览器之间进行实时通讯,也可以单独编译在自己的应用中

2.WebRTC也是一套规范,只对客户端做了定义,如何进行媒体协商、通信流程...;对于服务端,比如信令服务端、中继服务,并没有在WebRTC中定义,由厂商定义;对于多人互动方案也没有定义

(二)3种框架进行多人互动

Mesh方案:从WebRTC客户端演变过来,多人互动--->变为多个1V1通讯,会导致网络连接过多,任一个客户端都需要与其他客户进行连接,带宽占用过多,不适用商业

MCU方案:硬件演变为软件,包含一个中心服务器。中心服务器会对多路视频进行混屏(解码、编码),降低带宽,占CPU,支持的同时在线人数有限。此外,客户端无法对其进行控制,灵活性较差。

SFU方案:简单、主流,不对数据处理,当服务器收到数据后直接进行数据转发,只进行转发。每个客户端都会收到其他客户端通过服务器转发过来的数据,但是相对于Mesh,建立的连接只和服务器个数有关。并且相对于MCU,客户端对于接受的其他各个客户端的数据可以进行灵活控制。缺点:相对有MCU传输的数据更多,造成客户端到服务端的带宽占用过高,带宽不够时会造成丢包,服务质量无法保证!改进方法:1.降低码流(上传时/发送时)2.根据H264中SVC分层方式,将一路视频分为核心层、扩展层、边缘层,一层比一层清晰(增量累加),当带宽足够时可以全部下发给客户端,不够时可以选择传输核心层或者核心层+扩展层从而降低下行带宽数量,缓解质量不足问题

二: 架构模型详解

(一)Mesh架构模型详解

1. 1V1通讯模型

WebRTC学习(八)1V1音视频实时互动直播系统

WebRTC学习(八)1V1音视频实时互动直播系统(2)

2. Mesh通讯模型(未画出信令服务器)

Mesh方案,不依赖于服务器进行数据中转(不会走TURN),是各个端之间建立连接。

内部同1V1进行设备检测、数据编解码、媒体协商、建立连接、发送数据。唯一区别就是1V1可以通过TURN转发。

Mesh一般使用P2P直连,不会经过TURN服务器转发,太复杂,不易管理。但是国内需要考虑穿透率,所以该方案一般用在局域网中进行使用和学习!

(二)MCU架构模型详解

在MCU中心服务器中,存在多个Room,这里只选取左侧的进行讲解:

1.对于每一个客户端C1、C2...C4,进入房间中,在房间中(服务器端)都有对应的模块进行连接,客户端进行通讯的数据,比如音频数据、视频数据都通过该连接传递给服务端。

2.服务端模块收到数据后,会对数据进行解复用,将音视频数据拆解,将音频放入音频处理模块,将视频放入视频处理模块,实现对数据解码,然后进行混屏,之后进行编码压缩。返回压缩数据(一路流)到各个客户端。

缺点:服务端无法支持大量客户端,最多支持几十路流处理;客户端获取的数据固定(由服务端处理后的),无法进行编辑(拉伸、改变清晰度)

音视频流媒体高级开发知识点学习视频点击 音视频学习资料 获取。知识点包括有FFmpeg/WebRTC/RTMP/RTSP/HLS/播放器-音视频流媒体高级开发。

音视频高级开发系统学习视频:【免费】FFmpeg/WebRTC/RTMP

史上最全的WebRTC服务器技术选型分析 Janus-gateway 是一个独立的服务,支持的信令协议很丰富,而且支持插件开发,易扩展,对于 Linux/C 背景的开发者是很不错的选择。项目功能也需要考虑,比如业务需要录制回放,开源技术并没有这样的功能,需要自己开发,时间成本很高,但选择已经做好录制回放功能的开源技术又不一样了。但是这里我也想给大家说一定,用了开源的解决方案,能快速的搭建起业务,但是无疑也欠下了技术债,因为开源的解决方案肯定没有自己实现的要熟悉,因为不熟悉很多时候出现了问题,并不能马上解决,甚至解决不了,导致业务受到影响。 阅读详情

相关推荐

【流媒体服务器Mediasoup】多人音视频架构、流媒体的比较、mediasoup介绍 (一)

目录 前言 多人音视频架构 流媒体服务器的比较 Mediasoup流媒体服务器架构及特点 前言 WebRtc有两种含义,其一是Google开源的流媒体实时通讯客户端,主要运用于浏览器之间的实时通讯,当然也可以通过提取完成移动端,PC端的通讯;另外WebRtc也是一套规范,这套规范只对客户端做了定义,如客户端应该是一种什么行为,应该是一种什么样的流程...

gjy_it的博客 1万+

WebRTC学习进阶之路 --- 零、WebRTC系列文章简述和目录结构

搞了五年C++开发,出于个人发展和目前市场需求趋势(各种音视频相关崛起,同时伴随着5G时代到来)和未来至少十年的发展空间考虑,决定接下来投身大部分精力学习和研究WebRTC。之前零零散散写了一点相关文章,整体来说不成系统,以下是结合各方开源的/收费的/牛逼的/实战的等等渠道总结的一系列学习进阶修炼之路,不断总结吸纳更新以至完善。 目录: 一、 WebRTC学习进阶之路 ---...

SmallBottle-CGWLMX的博客 8359

WebRTC学习进阶之路 --- 一、概述、原理、源码目录结构与整体架构介绍

片头语:在学习WebRTC首先最好具备一定的音视频相关基础知识,可以参考https://blog.youkuaiyun.com/xiaomucgwlmx/article/details/102838490,里边有很详细的介绍总结以供参考,接下来让我们一起来认识一下WebRTC。 WebRTC学习进阶之路系列总目录:https://blog.youkuaiyun.com/xiaomucgwlmx/article/deta...

SmallBottle-CGWLMX的博客 3808

音视频开发成长之路与音视频知识总结_海思支持opus

把音视频工作方向总结为9个(可能不够准确,仅是个人观点):直播、传输、算法、视频播放器、流媒体后端、短视频、音频播放、视频编辑、图像处理。视频包括:帧率、码率、分辨率、像素格式、色彩空间、I帧P帧B帧、DTS与PTS、YUV与RGB、位深与色域、视频编码格式、视频封装格式。通用包括:熟悉流媒体协议、音视频传输、音视频同步播放、平台相关多媒体运用、FFmpeg相关API运用、OpenGL渲染、音视频编辑。音频包括:采样率、声道数与声道布局、采样格式、PCM与波形图、音质、音频编码格式、音频封装格式。

2501_90404130的博客 2158

音视频流媒体高级开发进阶:从音视频基础知识到技术实践

站在音视频行业风口 站在风口,猪也能飞”。在已经到来的2022年,音视频行业依旧是怎么也绕不过去的风口。 一方面,随着各项5G政策的落实,音视频+5G风口,将会深入挖掘音视频产业的无限潜力,加速与云计算、人工智能等领域的深度融合,不断催生新的业态和新的商业模式。 另一方面,实时音频也在助力在线教育风口,因为疫情,让越来越多的学生、家长、教育者都意识到了在线教育的重要性。音视频技术,无疑是在线教育背后一只强大的推手。 提前储备高薪技术力 面对音视频风口的重锤出击,你还不了解什么是音视频技术?让我们一探究竟。

C/C++Linux、音视频、DPDK 2953

音视频流媒体高级开发(FFmpeg6.0/WebRTC/RTMP/RTSP/编码解码)

开源方案简介(视频 |12分钟23秒)AppRTC服务器组成(视频 |04分钟38秒)准备工作(视频 |02分钟37秒)AppRTC必要软件安装(1)(视频 |21分钟12秒)AppRTC必要软件安装(2)(视频 |14分钟03秒)1coturncolliderapprtc(视频 |19分钟19秒)nginx代理和运行测试(视频 |11分钟08秒)解决跨域问题和总结(视频 |17分钟42秒)课程展望(视频 |09分钟10秒)

C/C++Linux、音视频、DPDK 2126

各webrtc sfu对比

SIMcst 要上传三路分辨率 下行一路 声网用,一般用这个 SVC也有用的,zim,思科之类 分为核心层,扩展层,边缘层,有依赖关系,第一层码率很低也很模糊,同时它的分辨率也很小,每多来一层就更清晰一点,sfu发现接收端带宽不够就少发外层,再不够就再少发一层 两种方案不能混用licode 是mcu的优秀方案,官方规定只能在Ubuntu14.04上部署,或者docker环境。最好使用它官方的docker不然编译大把问题,但是docker本身也增加性能损耗 对licode二次开发比较困难 代码笨重 janus

宝安小雨 4199

media-server-node:适用于Node.js的WebRTC媒体服务器

适用于Node.js的WebRTC Medooze媒体服务器 该媒体服务器将允许您从远程WebRTC对等方接收和发送媒体流,并管理如何路由它们。 支持的系统: Linux Mac OS X 树莓派 安装 只需将Medooze媒体服务器添加为对节点proyect的依赖项: npm i --save medooze-media-server 分配 如果不想每次使用媒体服务器时都编译本机代码,则可以预编译Medooze Media服务器并为平台生成二进制包。 在Medooze媒体服务器目录上,只需执行以下操作: git submodule update --init --recursive npm i npm run-script dist 它将在dist/medooze-media-server-xyxtgz生成二进制包。 要在您的项目上使用它,只需安装它而不是npm存储库依赖项: npm i --save medooze-media-server-x.y.x.tgz 用法 const MediaServer = require ( 'medoo

【宠物识别系统】设计框架

能跑通的 Demo。收集 10,000 张同品种但不同个体的图片。训练ArcFace模型,验证准确率能否达到 99% 以上。搭建Milvus向量数据库。开发移动端 App/小程序。加入“图像质量检测”和“用户反馈纠错”功能。你是更偏向于做软件服务(如寻宠App、保险API),还是做软硬结合的产品(如智能喂食器)?这决定了我们下一步是深挖云端高并发架构,还是边缘端模型压缩。更偏向于软件,应用更广泛些,继续既然专注于纯软件/SaaS (Software as a Service) 方向。

百态·数智思维 | 聚焦大数据、量化与未来AI 1415

Win10家庭版如何添加本地用户和组

在众多Windows版本中,Windows 10以其丰富的功能和卓越的性能吸引了大量用户。然而,对于使用Win10家庭版的用户来说,他们可能会遇到一些功能上的限制,特别是在用户和组管理方面。虽然家庭版在某些高级功能上有所缩减,但我们仍然可以通过一些技巧来实现对本地用户和组的管理。本文将详细介绍如何在Win10家庭版中添加本地用户和组,以便用户能够更好地管理计算机资源。

nntxthml的博客 4558

无人驾驶小车调试笔记(六)-- 车轮校准

简介:小车的动力完全来自于两个电机带动的车轮,在理想状态下,给两个电机同样的驱动参数,两个车轮会以同样的转速带动小车直线行驶,而实际情况是每个电机可能都会有个体差异,也就是说给予同样的驱动参数,表现出的转动速度会有些许不同,两个轮子的差速会导致车辆拐弯,后果就是给了直线行驶的控制命令,但是车走着走着就偏离了原本的方向,所以在开始控制之前,我们需要先平衡两个车轮的转速,保证在同样驱动参数下,两个车轮转速大致相同,也就是可以走直线。 车轮校准分为3步,测试、调整后再测试、保存参...

aibingjin的博客 1823

动作识别(三)Win10复现OpenPose1.7.0+ST-GCN代码

动作识别(三)Win10复现OpenPose1.7.0+ST-GCN代码1.Win10系统配置OpenPose1.7.0的Python API 本人最近在研究基于骨架的动作识别方法,有幸看到端到端的ST-GCN算法,于是决定自己复现一下。(具体原理这里不介绍,大家自行查阅,比如Openpose是个啥?ST-GCN又是个啥?) 1.Win10系统配置OpenPose1.7.0的Python API 安装步骤: (1) ...

QIANFANGshiwo的博客 3042

PyCharm安装PyQt5及工具(Qt Designer、PyUIC、PyRcc)详细教程来了

Qt是常用的用户界面设计工具,而在Python中则使用PyQt这一工具包,它是Python编程语言和Qt库的成功融合。这篇博文通过图文详细介绍在PyCharm中如何完整优雅地安装配置PyQt5的所有工具包,主要内容包括PyQt5、PyQt5-tools的依赖包安装和Qt Designer、PyUIC、PyRcc三个工具的设置。最后简单演示了PyQt5的调用方式及三个工具的使用方法。

Python966的博客 3万+

OsgEarth开发笔记(三):Osg3.6.3+OsgEarth3.1+vs2019x64开发环境搭建(下)

上一篇编译了proj6.2.0、gdal3.2.1,本篇继续。 OsgEarth的编译,是基于Osg和OsgEarth结合在一起的,先要编译Osg,然后编译OsgEarth。OsgEarth的依赖库较多,分为上、中、下三篇,然后单独有一篇如何将编译好的osgEarth集成到Qt中。

长沙红胖子 Qt・西安|省级科研团队从业背景,深耕双一流体系高精尖技术配套研发|剥离高精尖机理,沉淀高端特种行业领域 Qt 工程化落地经验|博文仅分享通用技术总结,输出公开普适工程思路。 4万+

PCL 基于法线微分(DoN)的点云分割【2026最新版】

基于法线微分的分割。博客长期更新,本文最新更新时间为:2026年5月10日。

点云侠的博客 39万+

Ubuntu上通过FinalShell或Asbru访问CentOS虚拟机

使用FinalShell或Asbru远程连接虚拟机

howard2005的专栏 2280

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

上一篇: 深入分析websocket协议,从3个方面设计网络应用层协议丨网络编程|网络IO|epoll|socket|网络协议丨c/c++linux服务器开发
下一篇: 详解TCP协议与UDP协议的区别
Linux服务器开发
博客等级 码龄7年 610粉丝 589原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值