WebRTC音频QoS方法四(音频接收端NACK流程实现)

本文探讨了WebRTC中视频和音频接收端NACK实现的不同之处,视频NACK针对关键帧进行特殊处理,而音频NACK考虑JitterBuffer的异常恢复。重点介绍了音频NackTracker接口和调度位置,并揭示了两者在处理丢失包时的策略差异。

一、概述

发送端的音视频NACK实现没有差异,是共用一套rtp_packet_history代码,这样做的好处是,当要清空NACK队列时,音视频一起清空,可以防止出现音视频不同步异常;在接收端,音视频NACK实现细节是不一样的。

视频接收端NACK实现函数是NackModule2,音频接收端NACK实现函数是NackTracker。

音视频NACK实现差异主要有两点:

  1. 视频NACK满足一定条件会进行IDR帧请求:视频模块会配置nack_list的最大长度为kMaxNackPackets,即本次发送的nack包至多可以对kMaxNackPackets个丢失的包进行重传请求。如果丢失的包数量超过kMaxNackPackets,会循环清空nack_list中关键帧之前的包,直到其长度小于kMaxNackPackets。也就是说,放弃对关键帧首包之前的包的重传请求,直接而快速的以关键帧首包之后的包号作为重传请求的开始。这部分请参见如下链接实现:webrtc QOS方法一.2(接收端NACK流程实现)_CrystalShaw的博客-优快云博客1、概述webrtc接收端触发发送NACK报文有两处:1、接收RTP报文,对序列号进行检测,发现有丢包,立即触发发送NACK报文。2、定时检查nack_list_队列,2、流程实现https://blog.youkuaiyun.com/CrystalShaw/article/details/107003142
  2. 音频NACK因为JitterBuffer有kAccelerate(加速播放)、kExpand(减速播放)、kAlternativePlc(丢包补偿)、kMerge(融合)的异常恢复操作,不是所有报文都需要重传。所以需要在解码端需要更新nack_list的出包时间戳。

二、代码走读

1、音频接收端NACK的NackTracker对外接口函数说明

2、音频接收端NACK在系统调度位置

接收端检测出有丢包后,不是立刻发送NACK报文请求,首先判断这个报文离播放还有多久时间,若该包离播放时间小于一个RTT,就不申请重传了,因为即便传过来也已经过时了;若前面已经发送了一个NACK请求,判断报文尚未收到,再次发送NACK的时候,会判断两次NACK的间隔时间,是否大于阈值(这个阈值要综合考虑当前实际丢包情况,进行适当的调整),防止报文还在路上,引入的超发问题。

### WebRTC中的NACK机制及其实现细节 在网络状况不佳的情况下,为了提高媒体传输的质量和可靠性,WebRTC采用了多种技术手段。其中一种重要的纠错方法是负确认(Negative Acknowledgement, NACK)。当接收端检测到丢失的数据包时,会向发送方请求重新发送这些数据包。 #### 工作原理 在实时通信过程中,如果接收者未能接收到某些RTP数据包,则会在本地缓存中记录下缺失序列号的信息,并通过RTCP反馈报文告知发送者哪些具体的包已经丢失[^1]。随后,发送节点依据此信息决定是否以及何时重发相应的RTP负载。 这种基于丢包恢复的技术特别适用于具有突发性损失特性的网络环境,因为它允许快速响应并修正短期内的错误情况而不必等待整个流结束之后再处理。对于视频通话而言,及时补回少量错过的图像帧可以显著改善用户体验;而对于语音交流来说,即使是在较差连接条件下也能保持较好的音质清晰度[^3]。 #### 实现要点 - **延迟控制**:为了避免过度频繁地触发重传操作而导致额外开销甚至恶化拥塞状态,通常会对NACK消息的应用设置一定的阈值条件,比如仅针对连续丢失超过一定数量以上的包才发起请求。 - **优先级管理**:考虑到不同类型的多媒体内容可能有着不同的重要性和紧迫程度,在实际部署中往往还需要考虑如何合理分配有限资源给最需要被修复的部分。例如,关键帧相比于普通预测编码单元更值得优先保障其完整性。 - **与其他机制配合使用**:除了单独依靠NACK之外,还可以将其同前向纠错(FEC)等其他鲁棒化措施结合起来应用,从而形成更为全面有效的QoS策略体系。特别是新版WebRTC已经开始引入RED方式作为增强型音频保护方案的一部分。 ```python def nack_handler(missing_packets): """ 处理接收到的NACK指令,准备并发送必要的重传数据包 参数: missing_packets (list): 缺失的数据包包ID列表 返回: None """ for packet_id in missing_packets: # 查找对应的原始数据包副本 original_packet = find_original(packet_id) if original_packet is not None: send_retransmission(original_packet) ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值