CrystalShaw的博客

摘要：音频编码器分为Audio Codec（如AAC、MP3）和Speech Codec（如iLBC、SILK），前者基于听觉感知特性，后者基于语音生成模型。Opus作为混合编解码器，包含SILK（语音）和CELT（音乐）两层，其带内FEC通过LBRR技术在SILK层实现，采用双重编码（主编码和低码率冗余编码）提升抗丢包能力，但仅适用于单包丢失场景。实际应用中，常需结合RS-FEC等方案增强连续丢包恢复能力。

本文介绍了WebRTC中用于优化实时音频传输的加速算法（Accelerate）。该算法在音频数据堆积时，通过基音周期检测和重叠相加技术缩短播放时长，同时保持音调不变。算法实现包括三个关键步骤：1）检测满足加速条件的音频段（30ms以上，强相关或非活动语音）；2）使用抛物线拟合算法精确定位音频峰值；3）通过三段式音频处理（基础段拷贝、周期段复制、交叉淡入淡出）实现平滑加速。其中交叉淡入淡出技术有效消除了拼接噪声，确保音频质量。该算法显著改善了网络抖动导致的音频延迟问题，提升了实时通信体验。

一、概述音频的QOS可以分：音频前处理3A算法、NetEQ两大类。二、音频前处理3A算法1）AECAEC (Acoustic Echo Cancellation) 回声消除算法IOS和ANDROID系统都使用内置的AEC算法。只有windows使用webrtc的AEC算法。配置过程请参见WebRtcVoiceEngine::Init->WebRtcVoiceEn...

一、整体思路上一篇《NetEQ之音频延时DelayManager计算》介绍了如何计算音频报文的网络延时，给系统需要缓存多长时间的音频数据，提供了数据支撑。webrtc会根据当前系统已经缓存包数和网络延时情况，决定给音频解码器发送播放方式，进行平滑处理。下面来介绍计算系统已经缓存包数的方法。二、实现原理1）计算公式系统已经缓存包数有三块组成：1、RTP数据包缓存；2、音频解码后PCM...

一、整体思路不像视频一帧数据那么大，音频一帧数据包都比较小，UDP的1500个字节完全可以装满一帧。所以音频在发送端的发送时间间隔是按照固定的打包时长节奏发送的。如上图以30ms打包时长为例，ABCD四个报文的发送时间间隔都是30ms。若没有网络影响，接收端的包间间隔也是30ms，音频播放清晰流畅。1）延时定义：二、实现原理三、参考...

本文介绍了WebRTC中NetEQ网络延时计算的两种算法：针对单纯网络抖动的UnderrunOptimizer算法和针对丢包场景的ReorderOptimizer算法。前者通过IAT直方图以95%概率计算最大延时值，后者则通过计算延时成本与丢包成本的平衡点确定最优延时。DelayManager最终综合两种算法的最大值作为当前网络延时，为变速算法提供关键决策依据。文章详细解析了两种算法的实现原理和核心函数，包括直方图统计方法和成本计算公式。

一、概述发送端的音视频NACK实现没有差异，可以公用一套rtp_packet_history代码，但是在接收端，音视频NACK实现细节是不一样的。视频接收端NACK实现函数是NackModule2，音频接收端NACK实现函数是NackTracker。音视频NACK实现差异主要有两点：视频NACK满足一定条件会进行IDR帧请求：视频模块会配置nack_list的最大长度为kMaxNackPackets，即本次发送的nack包至多可以对kMaxNackPackets个丢失的包进行重传请求。如果丢

std::unique_ptr frame里面挂了解码器的句柄，就是说每个报文都指定了自己的解码器句柄。std::unique_ptr stats_：更新报文之间时间间隔，用于确定jitterbuffer缓存时间。std::unique_ptr nack_：更新收包信息，便于确定需要nack重传的报文。封装输出音频PCM帧数据。

本文介绍了Opus音频编解码器的关键功能与参数配置。主要包括：1）码率调节（6-510kbps）、丢包率自适应调整FEC冗余度；2）支持DTX静音检测、CBR/VBR编码模式切换；3）支持复杂度（0-10级）、声道数动态调整；4）提供VOIP、音乐和低延迟三种应用模式。文章还给出了Opus的编译安装命令，并参考了RFC6716标准。这些自适应网络参数使Opus能在不同场景下实现音质与带宽的最佳平衡，特别适合实时音视频通信应用。

一、回声的产生无论是实际环境还是语音通话中，回声总是存在的。但是需要满足如下两个条件，我们才能感觉到回声的存在：1、回波通路延时足够长回波通路延时 效果 小于30ms 不易察觉 小于50ms 有感知 大于50ms 影响严重，需要干预 2、回波信号能量足够强也就是说，返回的回波信号必须足够强到，能让用户能够听见。在实时音频会议通话中，产生回声的主要来源有两点：电学回声、声学回声。二、回声的种类及抑制1、电学回声目前大家可能很少听说电学回

一、概述二、音频收包到渲染NetEqImpl::InsertPacketInternal函数与NetEqImpl::GetAudioInternal函数之间通过packet_buffer_共享队列传输音频报文数据。在NetEqImpl::InsertPacketInternal函数中入队音频报文、在NetEqImpl::ExtractPackets函数中出队报文。NetEq...