WebRTC系列-Qos系列之接收方NetEQ_DelayManager

已于 2023-03-21 18:11:55 修改
阅读量743 收藏
点赞数
分类专栏： WebRTC进阶 文章标签： webrtc
于 2023-03-17 22:15:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lym594887256/article/details/129611114
版权
本文深入解析WebRTC中DelayManager的工作原理，包括接收和存储音视频数据，动态调整延迟缓存大小，以及如何根据网络状况发送数据。DelayManager通过DelayPeakDetector和Histogram等组件，实现平衡延迟和音视频质量。文章还介绍了类中的关键成员变量和方法，如定点数的使用、常量及FieldTrial，并探讨了QoS在WebRTC中的重要角色。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录


DelayManager 是 WebRTC 中的一个重要组件，用于管理网络中的延迟，以保证音视频流的正常传输。其主要作用是通过控制延迟缓存的大小，来平衡延迟和音视频质量之间的关系。

DelayManager 的处理逻辑主要包括以下几个步骤：

  1. 接收音视频数据
    DelayManager 接收来自音视频模块的数据，并将其存储在延迟缓存中。该缓存的大小由当前网络的延迟和抖动情况决定。如果网络延迟较小，则可以采用较小的缓存大小；如果网络延迟较大，则需要增加缓存大小以避免丢包和抖动。

  2. 控制延迟缓存的大小
    DelayManager 通过动态调整延迟缓存的大小，来平衡延迟和音视频质量之间的关系。具体而言，它会根据网络延迟和抖动的情况，自适应地调整缓存的大小。当网络延迟较小时，DelayManager 会减小缓存的大小以降低延迟；当网络延迟较大时，DelayManager 会增加缓存的大小以缓解丢包和抖动的影响。

  3. 发送音视频数据
    DelayManager 会定时将音视频数据从延迟缓存中取出，并将其发送到远端。为了保证音视频质量，它会根据网络情况和缓存大小的变化，动态地调整音视频数据的发送频率和大小。当网络延迟较小时，DelayManager 会尽可能快地发送音视频数据，以保证实时性；当网络延迟较大时，Del

了解本专栏 订阅专栏 解锁全文 超级会员免费看
WebRTC系列-Qos系列之接收方NetEQ_DelayManager_DelayPeakDetector(3)
HOSTEN的博客
03-21 460
在文章在调用直方图获取到index作为level后，接着会调用去判断有没有峰值，如果有就需要处理；本文是音频延时处理的第三篇，也是对计算音频延时level的最后计算结果；DelayPeakDetector类的主要功能是计算并记录连续延迟值的最大值，并提供方法来重置延迟峰值并查询当前的最大延迟值。该类还提供了一个阈值，用于确定何时应将延迟值归零；
WebRTC系列-Qos系列之接收方NetEQ_DelayManager_Histogram(2)
HOSTEN的博客
03-20 557
他们的作用依次介绍如下：buckets_，直方图中桶的概念，也就是直方图中一个一个的条形图；在这个类中每一个桶，表示这一项(x轴)的概率值,使用Q30标识(也就是数组索引对应的个数的延迟的百分比)，所有桶元素之和不大于1；例如：buckets_[1]=0.14 也就是14%，表示一个单位延迟的包对应的占比是14%；buckets_[2]=0.82 也就是82%, 表示两个单位延迟的包对应的占比是82%；buckets_[3]=0.04 也就是4%, 表示两个单位延迟的包对应的占比是4%；
webrtc音频QOS方法一（NetEQ之音频网络延时DelayManager计算）
CrystalShaw的博客
03-10 4963
一、整体思路 不像视频一帧数据那么大，音频一帧数据包都比较小，UDP的1500个字节完全可以装满一帧。所以音频在发送端的发送时间间隔是按照固定的打包时长节奏发送的。如上图以30ms打包时长为例，ABCD四个报文的发送时间间隔都是30ms。若没有网络影响，接收端的包间间隔也是30ms，音频播放清晰流畅。 1）延时定义： 二、实现原理 三、参考 ...
webrtc DelayManager代码研读
06-21 798
DelayManager代码研读 DelayManager利用方直图，统计出当前的延迟并，算出现在的应提供的buffer大小。 DelayManager通过调用Update更新包的延迟统计，并计算出target_level_； 调用BufferLimits根据target_level_获取最大最小缓存（lower_limit, higher_limit）； 通过最大，最小缓存生成dsp的相关指令； absl::optional Update(uint16_t sequence_number, uint32_
webrtc音频QOS方法一（NetEQ之音频缓存延时BufferLevelFilter计算）
CrystalShaw的博客
03-12 2713
一、整体思路 上一篇《NetEQ之音频延时DelayManager计算》介绍了如何计算音频报文的网络延时，给系统需要缓存多长时间的音频数据，提供了数据支撑。webrtc会根据当前系统已经缓存包数和网络延时情况，决定给音频解码器发送播放方式，进行平滑处理。下面来介绍计算系统已经缓存包数的方法。 二、实现原理 1）计算公式 系统已经缓存包数有三块组成：1、RTP数据包缓存；2、音频解码后PCM...
WebRTC系列-Qos系列之NetEQ简介
HOSTEN的博客
03-22 861
NetEQ是WebRTC音频子系统中的一个重要组件，它的全称是Network-Adaptive Digital Audio Playout Queue（网络自适应数字音频播放队列）；在术语表里的解释是：一种动态抖动缓冲区和错误隐藏（丢包补偿）算法，用于去除网络抖动和数据包丢失的负面影响。在保持最高语音质量的同时，保持尽可能低的延迟。在WebRTC应用程序中，音频数据包会被存储在抖动缓冲区中，以平滑处理由于网络延迟和抖动引起的数据包到达时间的变化。
WebRTC Qos策略
yinshipin007的博客
02-28 853
WebRTC中pacer的流程比较清晰，分为三步：1）如果一帧图像被编码和RTP切分打包后，先会将RTP报文存在待发送的队列中，并将报文元数据(packet id, size, timestamp, 重传标示)送到pacer queue进行排队等待发送，插入队列的元数据会进行优先级排序。基于丢包率（loss-based ）（发送端实现）发送端从接收端发送的 RTCP RR(Receiver Report）报文，根据 Report Block 中携带的丢包率信息，动态调整发送端码率。
白话解读 WebRTC 音频 NetEQ 及优化实践
阿里云CloudImagine
03-16 1509
NetEQ 是 WebRTC 音视频核心技术之一，对于提高 VoIP 质量有明显的效果，本文将从更为宏观的视角，用通俗白话介绍 WebRTC 中音频 NetEQ 的相关概念背景和框架原理，以及相关的优化实践。 作者｜ 良逸审校｜ 泰一 为什么要 “白话” NetEQ? 随便搜索一下，我们就能在网上找到很多关于 WebRTC 中音频 NetEQ 的文章，比如下面的几篇文章都是非常不错的学习资料和参考。特别是西安电子科技大学 2013 年吴江锐的硕士论文《WebRTC 语音引擎中 NetEQ 技术的研究》，非.
WebRTC Audio NetEQ学习笔记
chenquangobeijing的专栏
04-16 537
DelayManager有一个直方图Histogram，统计延迟信息（具体怎么算的没懂），获得延时的值。 即TargetDelayMs()，target_level_ms_。 double quantile = 0.97; double forget_factor = 0.9993; 1DelayManager：计算接收音频包的延时。 最大个数max_packets_in_buffer_ = 200。 DelayManager::Update{ ... UpdateDelayHistory(i.
webrtc Histogram（直方图） 算法研究
06-08 1429
webrtc Histogram（直方图） 算法研究 说明：Histogram被使用在neteq的DelayManager使用，被用做计算网络延迟。 关键数据结构： private: std::vector<int> buckets_; int forget_factor_; // Q15 const int base_forget_factor_; int add_count_; const absl::optional<double> start_forg
并行直方图统计
11-27
基于CUDA并行实现图像的直方图统计，opencv简单画出灰度分布直方图曲线分布趋势.
用Kafka实现延迟消息
weixin_40270946的博客
11-12 9603
本篇参考了基于kafka实现延迟队列 - 知乎，实现了Rocket MQ 18级延迟消息队列的功能，并加入任意延迟时间的支持（通过多个延迟队列的转发实现）。 1. Kafka操作工具类——KafkaManager 本类实现了对Kafka的连接和基本操作。 import org.apache.kafka.clients.admin.*; import org.apache.kafka.common.TopicPartitionInfo; import org.springframework...
浅谈 WebRTC NetEQ
风清扬的博客
01-13 2252
WebRTC Native 代码里面有很多值得学习的宝藏，其中一个就是 WebRTC 的 NetEQ 模块。根据WebRTC 术语表对 NetEQ 的解释： A dynamic jitter buffer and error concealment algorithm used for concealing the negative effects of network jitter an...
NetEq（一） 延迟估计
音视频图像相关
05-05 1369
NetEq之延迟估计
webrtc 代码学习（二十二） audio neteq，待续
Miracle_包子
11-12 1194
audio neteq 作者：LanPZzzz 文章目录1. modules\audio_coding\neteq 中2. InsertPacket 的流程，在学习十三中，我们已经简单的看到，这里就不介绍了。我们看下NetEqImpl::InsertPacketInternal 都作了哪些动作3. NetEqImpl::GetAudioInternal 获取数据jitter 控制其播放，应该是用...
浅谈WebRTC NetEQ
liuhongxian的专栏
12-06 737
浅谈WebRTC NetEQ WebRTC Native 代码里面有很多值得学习的宝藏，其中一个就是 WebRTC 的 NetEQ 模块。根据 WebRTC 术语表 对 NetEQ 的解释： A dynamic jitter buffer and error concealment algorithm used for concealing the negative effects of network jitter and packet loss. Keeps latency as low as pos
WebRTC视频分辨率限制 及调整策略
HOSTEN的博客
05-13 6973
WebRTC 中码率影响视频的帧率和分辨率的调整,在高硬件占用的情况下通过调整码率和帧率也会影响码率;视频评判的重要参数是QP; 外部设置帧率和分辨率参数 webrtc中的media/base目录下的video_adapter.cc,是视频分辨率和码率调整的重要类;改类主要对外提供一下接口: void OnOutputFormatRequest(const absl::optional<VideoFormat>& format); OnOutputFormatRequest提供了多
WebRTC系列 - 源码编译等
HOSTEN的博客
07-06 6701
WebRTC在编译中也会编译大量的test测试文件，如果不需要编译，找到。要将其集成到您的项目中，请在Podfile中添加以下几行。也就是WebRTC的示例demo，在文件中找到。鉴于国内网络环境，下载源码前需要搭建好梯子；是编译库的保存路径，这个可以自定义，只需要。打开文件后如果不想编译WebRTC源码的。运行gclient sync，提示錯誤，，需要生成.gclient的配置文件，将其值修改成false；修改成false即可；进入源代码的src执行。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

简简单单lym

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值