WebRTC:理论基础、行业地位、网络架构

WebRTC:Mesh/MCU/SFU网络架构 1. WebRTC网络架构有Mesh、MCU,SFU三种,其中: 1. Mesh:成本最低,但没有对多人实时互动场景提供很好的支持。 2. MCU:支持多人实时互动,需要对音视频流进行重新解码、混流、编码、对服务器要求高,成本以及延时也是最高。 3. SFU:支持多人实时互动,不需要在服务器端对媒体流进行编解码,因此降低了对服务器的要求,延时也低。 阅读详情

目录:

  1. 媲美zoom的视频会议app

  2. WebRTC的行业地位

  3. RTC架构

  4. 动态分辨率调整


媲美zoom的视频会议app

上一期《WebRTC安全问题:私有IP与mDNS》中介绍了私有IP地址泄露的问题,关于私有IP泄露问题可以搜索关键词WebRTC+IP+leakage,或者查看Mozilla的bug报告:https://bugzilla.mozilla.org/show_bug.cgi?id=959893。

由于WebRTC的安全考虑,有时候WebRTC并没有权限获取本机的网卡IP地址,取而代之的是一个mDNS域名,但是由于mDNS尚未普及,设备不一定支持。所以不依赖WebRTC的“host candidate”,需要主动维护所有app设备的IP地址,通过心跳连接让中心的web端主动汇聚所有app的IP地址,并交换。一句话概括:手机的IP让web端来找,别自己找。

本文是WebRTC系列教程第四篇,仍然围绕理论基础,扯点有的没的。事实上,WebRTC的性能丝毫不弱于风靡全世界,行业领先的zoom,一般想要实现这样一个能提供高清画质的app,需要部署以下几个子系统:

  • WebRTC音视频编解码技术

  • 信令服务,用于网络层打洞(园区内网可能不需要)

  • 房间控制/认证(WebSocket,同上)

  • RTC架构:全互联mesh/中心化SFU


WebRTC的行业地位

如果按照时间性能和空间性能(数据量)这2个维度对所有网络通讯应用进行分类,大致可以分为3类:常规通讯、即时(消息)通讯、即时音视频通讯,共三种不同性能要求的通讯场景。


类型时间要求数据量场景
1通讯低小HTTP网页、文件传输、电子邮件
2即时通讯高小聊天室、电话、网络游戏
3即时音视频通讯高大视频通讯、远程桌面、3D像素流

这3类app对性能的要求递增,很显然WebRTC是为了解决第3类应用场景。此类通讯的难度最大,单位时间内传递的数据量巨大,同时要求低延迟。遍历整个互联网,找不到比即时音视频通讯更难的需求,WebRTC技术本身就横跨多个基础学科,包括图论、信息论、控制论等,其行业地位可想而知。


RTC架构

如果只有2个人,自然p2p通讯是最佳方案;如果有3到5人的通讯,采用两两相连的全互联结构(full mesh)也是可以接受;如果人数增长至5以上,至少要考虑2点性能优化方案:

  • 复用媒体流:可以利用中心节点(如SFU)将重复的媒体流汇聚至上行链路(uplink)。

  • 有损压缩:用户不一定需要每个peer都传入100%分辨率的媒体流,比如视频会议中的缩略头像。

其实,如果打算开发一个不到10人的视频会议,mesh结构没得问题,mesh(网格)架构是最简单的全互联架构。全互联是图论的一个术语,代表所有节点两两相连,逻辑网络如下图:

注意,这张图只是逻辑上的网线,并非物理网线,根据组合数公式,全互联网络有C(n, 2)=n(n-1)/2个连接。这是一个二次多项式的复杂度,当n大于10以后是很恐怖的,真实物理链路利用中心的交换机将链路数量降至线性增长,不然太恐怖了。


动态分辨率调整

有时候,我们并不需要看到每个人的高清画质。

WebRTC接收的媒体流对象可以设置各种限制(constraints),包括空间上的分辨率和时间上的帧率(fps),这些限制可以节省流量。现代手机摄像头的分辨率大多是1080p(30fps),但是每个用户只接受2种分辨率,一种是类似监控中心的缩略版,一种是聚焦到某个用户时的完整图像。所以需要通在app中按需限流,除此之外,WebRTC也会根据网络环境对分辨率和帧率进行微调。

<完>


往期回顾:

WebRTC(一):三种架构和基本原理 从上述 SFU 的定义可以看到,SFU 这种网络拓扑模型,通过由 SFU Server 来实现 one-to-many ,减轻了多人视频通话场景下每个客户端的上行带宽压力,但是下行依然是多路流,随着通话人数的增大,下行带宽的压力依然会成比例的增大,那能否让下行也只剩一路流呢?,受到更广泛的欢迎和应用,常见的开源 SFU 服务器有:Licode,Janus,Jitsi,mediasoup,Medooze 等等,各有特点,大家可以去项目主页了解更详细的情况。SFU 相比于 MCU, 阅读详情

相关推荐

WebRTC,P2P技术,IPv6的一些思考

之前也说了,IPv4地址太贵只是NAT被广泛使用的原因之一,更深层次的原因是,互联网诞生之初所构想的世界大同的格局根本不可能实现,从物理设备的角度思考,如果想让人人平等地使用互联网,想要人人都能随时随地获得一个公网IP,就得在世界各地均匀地搭建类似蜂窝布局的互联网接入点(如5G基站),从而将互联网络覆盖到地球每个角落,但只要国家和地区之间充斥着不信任,各种私人领地像钉子户一般的存在,基站就不可能覆盖全球。这样一来,问题就解决了。所以,从资源守恒的角度看,NAT是牺牲端口号资源来扩充稀缺的ip地址资源;

yinshipin007的博客 465

WebRTC第一课:网络架构与NAT工作原理

请点击上方蓝字TonyBai订阅公众号!2023年下旬,OpenAI与Livekit的合作[1]在科技圈引起了不小的轰动。这两家公司联手,通过WebRTC技术和大型语言模型(LLM)的结合,使AI模型具有了看、听和说话的能力[2]。这一举动不仅彰显了WebRTC在现代通信技术中的重要地位,也为我们揭示了AI与实时通信融合的无限可能。WebRTC技术在大流行后再一次进入技术人的视野,恰好在我们今年打...

TonyBai 1272

区块链节点间通信技术详解:从P2P网络到共识协议

本文深入探讨了区块链节点间通信的技术原理与实现。主要内容包括:1)区块链P2P网络基础架构,分析全节点、轻节点等类型及网络拓扑;2)通信协议栈,重点对比TCP/UDP应用及比特币、以太坊等应用层协议;3)核心通信流程,涵盖节点发现、交易传播和区块同步;4)安全机制设计,如加密通信、消息验证和抗攻击策略;5)性能优化技术,包括网络分片、致密区块等前沿方案。文章系统梳理了区块链通信的关键技术,揭示了其如何在去中心化环境中实现安全高效的数据传输与共识达成。

u011175571的博客 738

WebRTC被发现泄漏本地IP地址

WebRTC,一种用于web通信的协议,最近它的一个漏洞被爆出。它可以显示本地用户的IP地址,即使他们已经通过使用虚拟私有网络加长字节来隐藏自己。Daniel Roesler,涉足加密学的San Francisco研究院,上周在GitHub上发表了一个示例,阐述了漏洞是如何工作的。Roesler 的概念验证(proof-of-concept)显示了网站是如何向STUN制造请求的。STUN(Sessi

biaobro的博客 9201

深入探索WebRTC技术实现对等文件传输

WebRTC(Web Real-Time Communication)是一种支持网页浏览器进行实时语音对话或视频对话的API。它由Google发起,2011年开源,历经多年发展,已经成为众多实时通信应用的核心技术。WebRTC通过开放的网络标准为浏览器提供实时语音、视频和通用数据通信功能,无需安装插件或第三方软件。WebRTC采用点对点(P2P)网络模型,这意味着两个通信节点之间可以直接相连,无需通过服务器中转。这种模型使得通信更加直接和高效,有助于减少延迟和服务器负载。

weixin_42593130的博客 1158

dashjs-p2p-engine:通过P2P技术提升dash.js视频流性能并降低CDN成本

dash.js 是一个开源的 JavaScript 库,它实现了动态自适应流媒体(Dynamic Adaptive Streaming over HTTP,简称DASH)的标准。DASH是一个允许在HTTP网络上通过适应不同比特率的视频流传输高清晰度视频内容的技术。dash.js 的设计理念是利用通用的网络技术,提供一个无需额外插件即可在现代浏览器中播放高质量视频的解决方案,从而增强用户在不同设备和网络条件下的观看体验。

weixin_42596246的博客 1136

WebRTC安全问题:私有IP与mDNS

大概在去年《WebRTC,P2P技术,IPv6》一文中探讨了互联网p2p技术的基本原理,从资源守恒和分形结构的角度揭示了NAT技术的2个本质:物质守恒:利用端口号资源扩充稀缺的IPv4资...

全栈空间 2601

深入理解SIP协议:构建互联网通信的基石

本文详细探讨了SIP协议的核心概念、网络元素、以及在多媒体通信中的应用。从SIP的定义、特点、网络架构到基本呼叫流程,本文为读者提供了一个全面的SIP协议学习视角,并通过具体的网络元素角色解释了SIP如何在实际中发挥作用。

weixin_42437253的博客 968

WebRTC for the Curious:SFU、MCU和Mesh架构对比分析

WebRTC(Web实时通信)技术为实时音视频通信提供了强大的支持,而选择合适的网络架构是构建高效WebRTC应用的关键。本文将深入对比三种主流WebRTC架构——SFU(选择性转发单元)、MCU(多点控制单元)和Mesh(网状网络),帮助开发者根据实际需求做出最佳选择。 ## 一、Mesh架构:简单直接的P2P方案 Mesh架构采用点对点(P2P)连接方式,每个参与者直接与其他所有参与者建立

gitblog_00071的博客 357

基于WebRTC的SFU多人音视频通话(服务端+客户端)

1、启动SFU服务器(Server.exe),默认端口是6666。不建议修改端口,客户端不支持设置端口。 记住SFU服务器的IP地址,如:192.168.1.101。 2、分别在不同的机器上启动客户端Client.exe。然后点击加入频道,输入服务器IP地址,以及 房间号(房间号可以自己随意填写),房间号相同的人会进入相同的房间;同理,房间号不 同的人会进入不同的房间。

[QDS]从零开始,写第一个Qt Design Studio到程序调用的项目

最近在使用Qt Design Studio进行开发,但是简中网上要不就是只搜得到Qt Designer(Qt Creator内部库),要不就只搜得到一点营销号不知道从哪里搬来的账号,鉴于Qt Design Studio是一个这么强大的软件,自然是需要来进行一下小小的实践的。所以开了这篇文章,方便没有使用过Qt Design Studio 和 QML的开发者也可以快速上手QDS(Qt Design Studio)。在本文中,你将学会如何使用QDS开发一个简单的QML程序,与你的C++后端代码进行交流。

Andius的博客 8216

深度解析 WebRTC:现代音视频与实时应用开发的核心范式与工业级实践

WebRTC 技术解析:实时通信的核心范式与工业实践 WebRTC(Web Real-Time Communication)作为现代实时音视频通信的核心技术,通过颠覆传统的TCP传输范式,实现了毫秒级延迟的实时互动。本报告深入剖析了WebRTC的底层机制与工业应用价值: 传输层革命:WebRTC基于UDP协议,克服了TCP的队头阻塞问题,将端到端延迟压缩至300毫秒以下,适用于远程医疗、云游戏等强交互场景。 架构创新:采用控制面与数据面分离设计,通过STUN/TURN服务器实现NAT穿透,建立点对点UDP通

greenspan的专栏 884

如何让Arduino IDE支持你手里的STM32 nucleo开发板

Arduino IDE开发环境在默认情况下不支持STM32 NUCLEO开发板,只有通过添加附加开发板管理包才能使用。目前为止,只有一部分板子支持使用Arduino IDE开发环境进行开发,分别是 Nucleo F207ZG, Nucleo F429ZI, Nucleo F030R8, Nucleo F091RC, Nucleo F103RB, Nucleo F303RE, Nucl...

mzw72188552的专栏 8972

像素流系列教程大集合 | 资源整理

截止今日,虚幻引擎像素流系列以及WebRTC的文章已经发布了十余篇了,像素流(Pixel Streaming)是虚幻引擎4为了实现前后端分离而设计的一套基于WebRTC技术实现的视频流送服...

全栈空间 1666

stata:stata软件教程(人大十八讲)(1) 第一章 stata入门

第一章 stata入门1.1 安装1.2 启用和退出1.3 打开和查看数据1.4 寻求帮助与网络资源1.5 命令示例1.6 几个环境设置1.7 复习与练习1.8 附录 注:教材为:Stata 统计分析教程 stata软件教程(人大十八讲) 中国人民大学出版社 陈传波 1.1 安装 1.2 启用和退出 1.3 打开和查看数据 1.4 寻求帮助与网络资源 1.5 命令示例 1.6 几个环境设置 1.7 复习与练习 1.8 附录 ...

qq_47805483的博客 1万+

PADS VX2.7学习记录06-PADS Router软件功能操作

PADS VX2.7学习记录06-PADS Router软件功能操作

qq_31444421的博客 7864

点对点视频分发:从早期互联网到ZB字节(Zettabyte)时代的分布式网络

随着受众的增长、分辨率的提高和用户对视频质量期望的提高,点对点内容分发(P2P)已成为流媒体行业的热门话题。这似乎是一个明智的选择:P2P技术具备极强的可扩展性,可以很好地驾驭流量洪峰(这对传统客户端/服务器模式来说是一种威胁),从而增加容量并提高观众的体验质量。随着越来越多的公司选择用P2P技术支持他们现有的 CDN 分发,我们想花点时间解释P2P分发的流行程度以及它的工作原理。 点对点:从互联网的早期到ZB字节时代 点对点网络架构并不新鲜:事实上,它们从互联网开始就存在了。虽然今天客户端/服务器模型

timmy88888的博客 1541

基于PCIe的NVMe协议在FPGA中实现方法

NVMe协议是工作在PCIE的最上层协议层的,故需要先搞清楚PCIE。本文基于Xilinx的UltraScale+,开发工具为Vivado2021.2。NVMe的学习仍以spec为主,其它资料辅助理解,有冲突时以spec为准,必要时可对比最新版本spec。(此文重点介绍学习方法及资料,有时间再加细节)。 主要参考的文章是《老男孩读PCIe》,同时参考《古猫先生》,重点学习TLP报文部分,数据链路层和物理层的内容可以先不看。再买一本书《PCI Express 体系结构导读-王齐》用来查阅做笔记。

leixj的博客 1万+

研究一波虚幻的像素流协议

PixelStreamer魔改自虚幻引擎的“SignallingWebServer”:EpicGames\UE_4.26\Engine\Source\Programs\PixelStr...

全栈空间 1880

ABAP Cloud:面向云时代的 ABAP 开发范式与实践指南

摘要: 本文系统讲解SAP ABAP Cloud开发模型,涵盖其架构、工具链、规范及实践。ABAP Cloud作为统一开发模型,支持在SAP BTP和S/4HANA上构建云就绪应用,遵循clean core原则,通过RAP(RESTful应用编程模型)实现低耦合扩展。文章详细解析其核心构成(RAP、稳定API、clean core约束)、工具链(ADT、软件物流)及两种典型扩展场景(on-stack与side-by-side),并附可运行RAP示例代码(如销售笔记应用)。重点强调通过规范开发确保系统可升级性

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 416

解决pd.read_json报错ValueError: Trailing data问题

首先,我们使用open函数打开JSON文件,然后使用json.load函数将JSON文件数据解码为Python对象。在使用Python进行数据处理中,我们经常需要将JSON格式的数据读入到DataFrame中进行处理。而使用pandas库的read_json函数,就可以方便地将JSON数据读入到DataFrame中。但是有时候在读取JSON数据时,会遇到一个非常常见的错误:ValueError: Trailing data。这个错误的解决方案并不难,只需要在read_json中添加一个参数即可。

学习使你进步。 2234

dva 核心概念完全解析:Model、Reducer、Effect、Subscription 与数据流的源码级解读

dva 是一个基于 React 与 Redux 的轻量级 Elm 风格前端框架,其全部状态管理思想浓缩为 8 个核心概念:`Data Flow`、`State`、`Action`、`dispatch`、`Reducer`、`Effect`、`Subscription` 与 `Router`。本文以 [docs/Concepts.md](https://link.gitcode.com/i/3a9c

gitblog_00297的博客 348

YOLO11优化:TGRS2026 CKConv结合C3k2 | 方向特征与跨阶段融合协同,小目标漏检率大幅下降

多尺度适配小目标尺寸变化:在 C3k2 不同阶段配置 CKConv 不同核尺度(浅层小核捕获精细纹理,深层大核聚合上下文),兼顾局部细节与全局感知,提升对舰船、车辆等小尺寸目标及红外热目标的检测鲁棒性。

①答疑群聊服务;②YOLO大模型知识问答系统;③计算机视觉论文生成智能体; 567

P2P 网络 简单研究 1

P2P(Peer-to-Peer)网络是一种分布式网络架构,其中所有节点(即网络中的计算机或设备)作为对等节点(peers),既可以作为客户端请求资源,也可以作为服务器向其他节点提供资源。与传统的客户端-服务器架构不同,P2P网络没有中央服务器或单一控制点,所有参与的节点都有相同的地位。

waterHBO的博客 1635

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

互联网直播/点播技术与平台创新应用:视频推拉流EasyDSS技术分析

视频推拉流/直播点播系统EasyDSS不仅能解决视频文件的处理(转码、清晰度、负载均衡)问题,同时还能满足使用不同网络带宽下的多平台、多终端播放要求。在

音视频流媒体技术 1314

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

最近200篇文章汇总

虚拟偶像行业分析SVG实战:实现港珠澳大桥logoWeb开发者的简历模板优秀员工评审表模板年度员工总结模板前端原生开发解决方案四大正切圆柱投影CSS实现最简洁的四角边框CSS实现最简洁的加载动画用最少的代码渲染3D模型中心透视圆柱投影正轴等距离切圆柱投影等角切圆柱投影的证明等面积圆柱投影的简单证明等面积圆柱投影的证明升级【转载】TMS协议简介新生代民工书籍推...

全栈空间 1115

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

上一篇: WebRTC安全问题:私有IP与mDNS
下一篇: 手机端H5组件化4种解决方案
xosg
xosg 领域专家: 网络协议与安全技术领域 领域专家: 网络协议与安全技术领域
博客等级 码龄9年 1987粉丝 864原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xosg

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值