- 博客(21)
- 收藏
- 关注
RSS订阅
原创 WEBRTC 带你精通《平滑发送模块》上
这是一个回调函数，就像你点外卖后，外卖员到了会给你打电话一样。当视频编码器完成一帧视频的编码后，就会"打电话"给这个函数，说"EncodedImage 就像是一个装满编码后视频数据的"包裹"fec_controller_ 是"快递保险员"，记录包裹大小和类型，准备在网络丢包时进行数据恢复就像快递员送包裹前要检查：🔒 确保同时只有一个人在处理包裹（线程安全）📦 确保有发送通道可用✅ 确保发送服务是开启状态shared_frame_id_++ 就像给每个包裹贴上递增的编号标签。
2025-06-21 23:24:01
1951
原创 FFmpeg FLV解码器原理深度解析
本文深入解析FFmpeg中FLV解码器的实现原理，重点分析其从格式解析到数据提取的完整流程。文章首先区分解封装与解码的概念差异，明确FLV解封装器的主要任务包括格式探测、头部解析、数据包读取、元数据处理和流同步。随后详细剖析FLV解封装器的模块架构，展示其基于AVInputFormat接口的实现方式，以及核心数据结构FLVContext的组成。通过生命周期流程图，系统性地呈现了解封装器从探测、头部读取、数据包处理到清理的完整工作流程。该分析为理解FFmpeg处理FLV格式的内部机制提供了全面视角。
2025-12-24 14:58:19
834
原创 FFmpeg FLV编码器原理深度解析
本文深入解析了FFmpeg中FLV编码器的实现原理，从FLV格式结构、编码器架构到核心数据结构和编码流程进行了详细剖析。主要内容包括：FLV文件的Tag-based流式结构及其三种Tag类型；FFmpeg FLV编码器的模块组织与生命周期管理；核心数据结构FLVContext的组成与功能；编码器初始化、头部写入、数据包处理和尾部写入的完整流程。文章通过代码分析和流程图展示了FLV编码的各个环节，为理解流媒体封装格式实现提供了技术参考。
2025-12-24 14:37:30
905
原创 RTMP推流流程详解
RTMP是Adobe公司开发的流媒体传输协议，主要用于Flash Player与服务器之间的音视频数据传输。特点基于TCP协议，保证可靠传输低延迟 (通常1-3秒)支持实时互动使用AMF (Action Message Format) 编码采用分块 (Chunk) 传输机制协议栈│ RTMP Chunk (分块传输) ││ TCP (可靠传输) ││ IP │位置RTMP_NETWORK_CHANNEL = 2, ///< 网络控制消息 (带宽报告、ping等)
2025-12-03 19:44:59
867
原创 RTSP拉流：RTP包解析流程详解
本文档详细分析了FFmpeg处理RTSP拉流时接收和解析RTP包的完整流程。主要流程包括：通过UDP/TCP接收数据包，调用rtsp_read_packet()作为入口函数，处理Real Server订阅逻辑和UDP超时自动切换TCP；核心函数ff_rtsp_fetch_packet()负责检查缓存帧和重排序队列，读取并解析RTP包；最终通过ff_rtp_parse_packet()完成RTP头解析、序列号验证、时间戳转换等操作，生成完整的媒体帧AVPacket。文档还特别说明了UDP超时处理机制和保活消息
2025-12-03 16:31:37
698
原创 RTSP推流：RTP包组装逻辑详解
入口接收AVPacket链式传递转换时间戳并传递给RTP MuxerRTP封装根据编解码器类型调用特定封装函数编解码器处理H.264/HEVC: FU-A分片或STAP-A聚合AAC: AU Header + 多帧聚合RTP头构建构建12字节RTP固定头传输UDP: 直接发送TCP: 添加Interleaved头后发送时间同步: 通过RTP时间戳和RTCP SR包完整性: 通过序列号检测丢包MTU适配: 大包自动分片效率优化: 小包聚合减少开销。
2025-12-02 11:49:05
950
原创 FFmpeg RTSP拉流流程深度解析
RTSP（Real Time Streaming Protocol，实时流传输协议）是一种应用层协议，用于控制流媒体服务器的实时传输。它并不直接传输音视频数据，而是作为"遥控器"来控制媒体流的播放、暂停、定位等操作。RTSP_STATE_IDLE, // 空闲：未初始化或已TEARDOWNRTSP_STATE_STREAMING, // 流媒体中：正在接收数据RTSP_STATE_PAUSED, // 暂停：已SETUP但未PLAY。
2025-11-29 16:49:59
701
原创 RTSP推流流程深度解析：从协议原理到FFmpeg实现
本文深入分析了RTSP推流的技术原理和实现细节。主要内容包括：RTSP协议基础概念及其与HTTP的区别，推流与拉流的差异；推流架构的整体设计，包含协议栈结构和数据流向；完整的推流流程时序图，涵盖TCP连接建立、能力协商、流描述发布和传输通道建立等关键环节。文章结合FFmpeg源码分析，详细讲解了RTSP推流过程中的技术实现要点，为开发者提供了全面的技术参考。
2025-11-29 12:57:10
1031
原创 WebRTC 3A算法深度解析：回声消除、自动增益控制与噪声抑制技术详解
WebRTC（Web Real-Time Communication）作为现代实时通信的核心技术，其音频处理模块中的3A算法（AEC回声消除、AGC自动增益控制、ANS噪声抑制）是保证音频质量的关键技术。本文将深入分析WebRTC中3A算法的实现原理、处理流程、核心参数以及优化策略，结合实际代码和性能数据，为开发者提供全面的技术指南。WebRTC、3A算法、回声消除、自动增益控制、噪声抑制、音频处理、实时通信在实时音频通信中，音频质量直接影响用户体验。：消除扬声器播放声音被麦克风重新采集形成的回声。
2025-09-28 10:05:07
1275
原创 WebRTC音频编码到发送全流程深度解析：从PCM到RTP的技术之旅
WebRTC作为现代实时通信的核心技术，其音频处理流水线是一个复杂而精密的系统工程。本文将从音频编码到网络发送的完整链路进行深度剖析，结合WebRTC源码实现，详细阐述音频数据从PCM格式到RTP包的完整转换过程。通过流程图、代码分析和性能优化策略，为开发者提供全面的技术指南。WebRTC、音频编码、RTP传输、Opus编码器、音频流水线、实时通信WebRTC的音频编码到发送流水线是一个复杂而精密的系统工程，它融合了信号处理、网络协议、系统优化等多个技术领域的最新成果。
2025-09-14 19:59:19
777
原创 WebRTC Android音频推流拉流深度解析：从底层实现到性能优化
WebRTC（Web Real-Time Communication）作为实时音视频通信的开源标准，在移动端应用中占据重要地位。本文将深入分析WebRTC在Android平台上音频推流和拉流的完整技术架构，从底层Android API到上层应用接口，结合源码分析、流程图表和性能优化策略，为开发者提供全面的技术指南。WebRTC、Android、音频处理、实时通信、音频编解码、NetEQWebRTC是Google开源的实时通信项目，为浏览器和移动应用提供了简单易用的音视频通信能力。
2025-09-14 02:48:32
738
原创 WebRTC传输通道深度解析（下）
DtlsTransport是WebRTC中实现DTLS协议的核心组件，它在UDP传输基础上提供安全的数据报传输服务。DTLS是TLS协议的数据报版本，专门设计用于不可靠的传输协议（如UDP）。public:// DTLS状态查询// 证书管理// 密钥提取// 远程参数设置// 加密套件查询// ICE传输访问// 状态变化回调。
2025-09-07 22:51:30
526
原创 WebRTC传输通道深度解析（中）
RtpTransport是WebRTC中负责RTP（Real-time Transport Protocol）数据传输的核心组件。它位于WebRTC传输层架构的中间层，连接上层的媒体处理模块和下层的网络传输模块。public:// 核心传输方法// 状态管理// 解复用管理// 回调订阅机制RtpTransport使用RtpDemuxer来实现数据包的解复用，根据BUNDLE规范的算法将接收到的RTP包路由到正确的接收器。基础传输功能。
2025-09-07 18:07:23
1075
原创 WebRTC传输通道深度解析（上）
WebRTC（Web Real-Time Communication）作为现代实时通信的核心技术，其传输层架构的设计直接影响着音视频通话和数据传输的质量。本文将深入剖析WebRTC中各种传输通道的实现原理、架构设计、核心差异以及实际应用场景，通过源码分析和架构图解，为开发者提供全面的技术指南。WebRTC的传输通道架构是一个复杂而精巧的系统，通过多层次的抽象和协调，实现了高效、安全、可靠的实时通信。ICE传输层：负责NAT穿越和连接建立，是整个传输架构的基础DTLS传输层。
2025-08-31 23:29:54
744
原创 WebRTC SDP API 底层实现深度解析：从Java到Native的完整调用链
在// 创建SDP Offer// 创建SDP Answer// 设置本地描述// 设置远端描述分层架构清晰：从Java API到JNI桥接，再到C++核心实现，每一层都有明确的职责分工。异步处理模式：所有SDP操作都是异步的，通过回调机制返回结果，避免阻塞UI线程。状态机管理：通过严格的信令状态机控制SDP协商流程，确保操作的正确性。编解码器协商：复杂的媒体能力协商逻辑，支持多种音视频编解码器的匹配和选择。错误处理完善：在每一层都有完善的错误检查和处理机制。线程安全。
2025-08-24 17:33:02
1214
原创 WebRTC 接收端：从收到 RTP 包到交给解码器的万字详解
带你从源码角度彻底吃透「接收端从网络包到解码器」的全链路。。fill:#333;Decoder连续包列表依赖检查可解码帧列表Decode()Decoderfill:#333;Decoder连续包列表依赖检查可解码帧列表Decode()Decoder。
2025-07-18 20:08:54
867
原创 WebRTC 平滑发送与带宽评估全解析（万字长文）
总结：平滑之道，止于至善参考资料估计先行，平滑护航：任何高级 BWE 都离不开稳定的 Pacer。多信源融合：吞吐量、丢包、RTT、接收端信令共同决定带宽。容错与恢复并重：RTT Backoff 勇于退让，Probe&Pacing 敢于探路。面向未来，WebRTC 将持续在 QUIC、多路并行传输上演进，但「平滑发送 + 自适应带宽」的核心哲学不会改变。
2025-07-13 11:35:23
426
原创 WebRTC带宽评估与码率控制深度剖析：从算法原理到工程实现
WebRTC的带宽评估和码率控制系统是一个高度复杂但精妙设计🔍 多维度评估基于延迟的实时检测基于丢包的历史分析主动探测的前瞻判断⚡ 自适应调整AIMD算法的精细化实现队列感知的动态调整网络状态的快速响应🎛️ 协同机制带宽评估与平滑发送的紧密配合债务预算算法的精确控制实时监控的全面覆盖。
2025-06-30 00:11:16
882
原创 WEBRTC 带你精通《平滑发送模块》下
📊图1：WebRTC平滑发送机制概览- 展示网络拥塞问题与WebRTC Pacing解决方案的对比在实时音视频通信的世界里，网络就像一条拥挤的高速公路。如果所有车辆（数据包）都同时涌入，必然会造成严重的交通拥堵。WebRTC通过精巧的Pacing机制来解决这一问题，就像在高速公路入口设置红绿灯一样，控制车辆有序进入。特性功能描述⚡平滑发送避免突发拥塞🎯优先级保证音频包优先发送📊自适应调整应对网络变化🔍主动探测感知带宽变化📈可观测性完善监控体系🔧工程化思维：考虑边界情况和异常处理，生产级可靠性。
2025-06-24 19:47:08
984
原创 用Cursor征服WebRTC：从1740行代码到深度理解的AI编程之旅
最近我在研究WebRTC源码时遇到了一个令人头疼的问题：面对一个包含1740行代码的接口文件，我该如何快速理解其核心功能？传统的方法是一行行阅读、画UML图、查阅文档… 这个过程往往需要几天甚至几周的时间。直到我开始使用Cursor，一切都变了。在短短几个小时内，我不仅理解了WebRTC的核心架构，还生成了调试工具、单元测试，甚至分析了构建系统。这篇文章就是我这次AI编程之旅的完整记录。这次WebRTC源码探索之旅让我深刻体验到了AI编程助手的强大威力。🔍快速理解复杂的代码架构🛠️生成高质量。
2025-06-24 11:30:07
1865
原创 WEBRTC 带你精通《平滑发送模块》中
💡 体现的核心设计原则现在我们来到了整个视频发送流程的"终极大脑"：PacingController::EnqueuePacket。这是决定何时、如何发送每个RTP包的智能调度中心！
2025-06-23 02:53:49
1883
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人