自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(29)
  • 收藏
  • 关注

原创 WEBRTC 带你精通《平滑发送模块》上

这是一个回调函数,就像你点外卖后,外卖员到了会给你打电话一样。当视频编码器完成一帧视频的编码后,就会"打电话"给这个函数,说"EncodedImage 就像是一个装满编码后视频数据的"包裹"fec_controller_ 是"快递保险员",记录包裹大小和类型,准备在网络丢包时进行数据恢复就像快递员送包裹前要检查:🔒 确保同时只有一个人在处理包裹(线程安全)📦 确保有发送通道可用✅ 确保发送服务是开启状态shared_frame_id_++ 就像给每个包裹贴上递增的编号标签。

2025-06-21 23:24:01 2087

原创 NACK(Negative ACKnowledgement,负反馈重传) 与 FEC(Forward Error Correction,前向纠错)

fill:#333;important;important;fill:none;color:#333;color:#333;important;fill:none;fill:#333;height:1em;第1层编码端 LTR/SVC降低参考依赖第2层FEC0 RTT 主动冗余第3层NACK + RTX1 RTT 精准重传第4层PLI/FIR请求关键帧重置第5层BWE/ABR动态降码率层级触发条件代价L1 LTR/SVC编码协商时启用编码效率略降(几乎不丢)L2 FEC。

2026-05-12 10:51:15 302

原创 一个黑洞 Shader 的完整解析:从光线弯曲到吸积盘渲染

黑洞是宇宙中最神秘也最有视觉冲击力的天体。在 Shadertoy 等图形社区里,黑洞渲染一直是经典话题。引力透镜(Gravitational Lensing)光线弯曲吸积盘(Accretion Disk)的体绘制(Volumetric Rendering)多普勒蓝移/红移效应程序化背景星空 + 星云辉光(Glow)效果它的实现没有用复杂的相对论数值积分,而是用简化的物理近似 + 体素步进 (raymarching)技巧。理解了它,你就掌握了一类"伪物理但视觉真实"的渲染方法。

2026-05-05 15:48:43 548

原创 WebRTC 码率分配全流程深度解析:从 BWE 到编码器的旅程

我用 WebRTC 做了一个 1对多 的视频通话,明明 BWE 估了 3Mbps,为什么我的 720p 流只用了 2Mbps?为什么有时候低分辨率流被关掉了,高分辨率流却继续编码?BWE 的码率到底是怎么分给每个编码器的?是平均分还是按权重分?Simulcast 模式下,每个编码器拿到的码率是独立的还是有依赖的?这些问题的答案都藏在 WebRTC 一个被很多人忽略的模块里——码率分配(Bitrate Allocation)。它处于 BWE 和编码器之间,是连接"网络估计"和"实际编码"的桥梁。

2026-05-05 15:13:04 561

原创 WebRTC 视频编码丢帧与降低分辨率机制深度剖析

WebRTC通过多层次自适应控制优化实时视频传输质量。其核心架构包括VideoAdapter(源端帧率/分辨率控制)和VideoStreamEncoder(多重丢帧决策)。VideoAdapter采用3/4和2/3交替缩放策略实现平滑分辨率降级,并通过令牌桶算法控制帧率。VideoStreamEncoder设置四道防线:编码队列积压、拥塞窗口、时间戳异常和码率不匹配丢帧。这种分层机制能快速应对网络带宽波动和CPU过载,在保证流畅性的同时动态调整视频参数。

2026-03-07 15:11:28 842

原创 Zoom Blur Shader 深度解析:打造电影级转场特效

在图形渲染和视频特效领域,Zoom Blur(缩放模糊)是一种极具视觉冲击力的效果,常用于场景转场、时间减速等场景。本文将深入解析一个基于 GLSL 的 Zoom Blur Shader 实现,该 Shader 改编自,通过巧妙的数学插值和采样技术,实现了平滑自然的缩放模糊转场效果。多种缓动函数:精确控制动画节奏径向采样:创造缩放感和方向性模糊加权累积:实现平滑的模糊过渡随机化采样:消除带状伪影双图转场:无缝衔接两个场景🎬 视频转场特效🎮 游戏场景切换📱 UI 动画效果🎨 艺术滤镜。

2026-01-09 17:38:48 742

原创 Shadertoy经典特效解析:Inigo Quilez的变形光束效果

本文将深入解析来自Shadertoy大师Inigo Quilez的一个经典shader特效。这个shader通过巧妙的数学变换和采样技巧,创造出了令人惊艳的放射状光束效果。让我们一步步拆解其中的原理和实现细节。技术公式作用坐标归一化建立对称坐标系非线性变换产生透视拉伸多频率正弦创造复杂运动径向采样实现放射模糊✅ 坐标空间变换✅ 非线性映射✅ 径向模糊算法✅ 程序化动画✅ 纹理采样技巧Inigo Quilez的代码总是简洁而优雅,每一行都有其存在的意义。

2026-01-08 21:10:26 1160

原创 Bokeh散景效果Shader

Bokeh(散景)是摄影术语,源自日语「ボケ」,意为"模糊"或"朦胧"。在摄影中,Bokeh指的是镜头将焦外区域渲染成模糊光斑的效果,特别是点光源会形成美丽的圆形或多边形光斑。这个Bokeh shader展示了几个优秀的图形编程技巧:✅黄金角采样- 利用自然界的数学规律实现均匀分布✅费马螺线- 高效的圆形区域采样策略✅加权混合- 模拟真实光学效果的关键✅性能优化- 避免昂贵的sqrt()调用。

2026-01-07 21:10:24 810

原创 FFmpeg HLS编码流程深度解析:从数据包到播放列表的完整实现

摘要:本文系统解析FFmpeg实现HLS流媒体编码的技术架构与核心流程,涵盖HLS协议特性、FFmpeg编码框架、关键数据结构(HLSContext/VariantStream/HLSSegment)以及从初始化到片段生成的完整处理机制。通过架构图与代码分析,详细阐述多码率适配、加密传输、播放列表生成等关键技术实现,为开发者提供HLS编码的深度技术参考。

2025-12-30 16:09:54 1315

原创 FFmpeg FLV解码器原理深度解析

本文深入解析FFmpeg中FLV解码器的实现原理,重点分析其从格式解析到数据提取的完整流程。文章首先区分解封装与解码的概念差异,明确FLV解封装器的主要任务包括格式探测、头部解析、数据包读取、元数据处理和流同步。随后详细剖析FLV解封装器的模块架构,展示其基于AVInputFormat接口的实现方式,以及核心数据结构FLVContext的组成。通过生命周期流程图,系统性地呈现了解封装器从探测、头部读取、数据包处理到清理的完整工作流程。该分析为理解FFmpeg处理FLV格式的内部机制提供了全面视角。

2025-12-24 14:58:19 1196

原创 FFmpeg FLV编码器原理深度解析

本文深入解析了FFmpeg中FLV编码器的实现原理,从FLV格式结构、编码器架构到核心数据结构和编码流程进行了详细剖析。主要内容包括:FLV文件的Tag-based流式结构及其三种Tag类型;FFmpeg FLV编码器的模块组织与生命周期管理;核心数据结构FLVContext的组成与功能;编码器初始化、头部写入、数据包处理和尾部写入的完整流程。文章通过代码分析和流程图展示了FLV编码的各个环节,为理解流媒体封装格式实现提供了技术参考。

2025-12-24 14:37:30 1290

原创 RTMP推流流程详解

RTMP是Adobe公司开发的流媒体传输协议,主要用于Flash Player与服务器之间的音视频数据传输。特点基于TCP协议,保证可靠传输低延迟 (通常1-3秒)支持实时互动使用AMF (Action Message Format) 编码采用分块 (Chunk) 传输机制协议栈│ RTMP Chunk (分块传输) ││ TCP (可靠传输) ││ IP │位置RTMP_NETWORK_CHANNEL = 2, ///< 网络控制消息 (带宽报告、ping等)

2025-12-03 19:44:59 1191

原创 RTSP拉流:RTP包解析流程详解

本文档详细分析了FFmpeg处理RTSP拉流时接收和解析RTP包的完整流程。主要流程包括:通过UDP/TCP接收数据包,调用rtsp_read_packet()作为入口函数,处理Real Server订阅逻辑和UDP超时自动切换TCP;核心函数ff_rtsp_fetch_packet()负责检查缓存帧和重排序队列,读取并解析RTP包;最终通过ff_rtp_parse_packet()完成RTP头解析、序列号验证、时间戳转换等操作,生成完整的媒体帧AVPacket。文档还特别说明了UDP超时处理机制和保活消息

2025-12-03 16:31:37 936

原创 RTSP推流:RTP包组装逻辑详解

入口接收AVPacket链式传递转换时间戳并传递给RTP MuxerRTP封装根据编解码器类型调用特定封装函数编解码器处理H.264/HEVC: FU-A分片或STAP-A聚合AAC: AU Header + 多帧聚合RTP头构建构建12字节RTP固定头传输UDP: 直接发送TCP: 添加Interleaved头后发送时间同步: 通过RTP时间戳和RTCP SR包完整性: 通过序列号检测丢包MTU适配: 大包自动分片效率优化: 小包聚合减少开销。

2025-12-02 11:49:05 1103

原创 FFmpeg RTSP拉流流程深度解析

RTSP(Real Time Streaming Protocol,实时流传输协议)是一种应用层协议,用于控制流媒体服务器的实时传输。它并不直接传输音视频数据,而是作为"遥控器"来控制媒体流的播放、暂停、定位等操作。RTSP_STATE_IDLE, // 空闲:未初始化或已TEARDOWNRTSP_STATE_STREAMING, // 流媒体中:正在接收数据RTSP_STATE_PAUSED, // 暂停:已SETUP但未PLAY。

2025-11-29 16:49:59 1412

原创 RTSP推流流程深度解析:从协议原理到FFmpeg实现

本文深入分析了RTSP推流的技术原理和实现细节。主要内容包括:RTSP协议基础概念及其与HTTP的区别,推流与拉流的差异;推流架构的整体设计,包含协议栈结构和数据流向;完整的推流流程时序图,涵盖TCP连接建立、能力协商、流描述发布和传输通道建立等关键环节。文章结合FFmpeg源码分析,详细讲解了RTSP推流过程中的技术实现要点,为开发者提供了全面的技术参考。

2025-11-29 12:57:10 1458

原创 WebRTC 3A算法深度解析:回声消除、自动增益控制与噪声抑制技术详解

WebRTC(Web Real-Time Communication)作为现代实时通信的核心技术,其音频处理模块中的3A算法(AEC回声消除、AGC自动增益控制、ANS噪声抑制)是保证音频质量的关键技术。本文将深入分析WebRTC中3A算法的实现原理、处理流程、核心参数以及优化策略,结合实际代码和性能数据,为开发者提供全面的技术指南。WebRTC、3A算法、回声消除、自动增益控制、噪声抑制、音频处理、实时通信在实时音频通信中,音频质量直接影响用户体验。:消除扬声器播放声音被麦克风重新采集形成的回声。

2025-09-28 10:05:07 2056

原创 WebRTC音频编码到发送全流程深度解析:从PCM到RTP的技术之旅

WebRTC作为现代实时通信的核心技术,其音频处理流水线是一个复杂而精密的系统工程。本文将从音频编码到网络发送的完整链路进行深度剖析,结合WebRTC源码实现,详细阐述音频数据从PCM格式到RTP包的完整转换过程。通过流程图、代码分析和性能优化策略,为开发者提供全面的技术指南。WebRTC、音频编码、RTP传输、Opus编码器、音频流水线、实时通信WebRTC的音频编码到发送流水线是一个复杂而精密的系统工程,它融合了信号处理、网络协议、系统优化等多个技术领域的最新成果。

2025-09-14 19:59:19 974

原创 WebRTC Android音频推流拉流深度解析:从底层实现到性能优化

WebRTC(Web Real-Time Communication)作为实时音视频通信的开源标准,在移动端应用中占据重要地位。本文将深入分析WebRTC在Android平台上音频推流和拉流的完整技术架构,从底层Android API到上层应用接口,结合源码分析、流程图表和性能优化策略,为开发者提供全面的技术指南。WebRTC、Android、音频处理、实时通信、音频编解码、NetEQWebRTC是Google开源的实时通信项目,为浏览器和移动应用提供了简单易用的音视频通信能力。

2025-09-14 02:48:32 1067

原创 WebRTC传输通道深度解析(下)

DtlsTransport是WebRTC中实现DTLS协议的核心组件,它在UDP传输基础上提供安全的数据报传输服务。DTLS是TLS协议的数据报版本,专门设计用于不可靠的传输协议(如UDP)。public:// DTLS状态查询// 证书管理// 密钥提取// 远程参数设置// 加密套件查询// ICE传输访问// 状态变化回调。

2025-09-07 22:51:30 582

原创 WebRTC传输通道深度解析(中)

RtpTransport是WebRTC中负责RTP(Real-time Transport Protocol)数据传输的核心组件。它位于WebRTC传输层架构的中间层,连接上层的媒体处理模块和下层的网络传输模块。public:// 核心传输方法// 状态管理// 解复用管理// 回调订阅机制RtpTransport使用RtpDemuxer来实现数据包的解复用,根据BUNDLE规范的算法将接收到的RTP包路由到正确的接收器。基础传输功能。

2025-09-07 18:07:23 1167

原创 WebRTC传输通道深度解析(上)

WebRTC(Web Real-Time Communication)作为现代实时通信的核心技术,其传输层架构的设计直接影响着音视频通话和数据传输的质量。本文将深入剖析WebRTC中各种传输通道的实现原理、架构设计、核心差异以及实际应用场景,通过源码分析和架构图解,为开发者提供全面的技术指南。WebRTC的传输通道架构是一个复杂而精巧的系统,通过多层次的抽象和协调,实现了高效、安全、可靠的实时通信。ICE传输层:负责NAT穿越和连接建立,是整个传输架构的基础DTLS传输层。

2025-08-31 23:29:54 893

原创 WebRTC SDP API 底层实现深度解析:从Java到Native的完整调用链

在// 创建SDP Offer// 创建SDP Answer// 设置本地描述// 设置远端描述分层架构清晰:从Java API到JNI桥接,再到C++核心实现,每一层都有明确的职责分工。异步处理模式:所有SDP操作都是异步的,通过回调机制返回结果,避免阻塞UI线程。状态机管理:通过严格的信令状态机控制SDP协商流程,确保操作的正确性。编解码器协商:复杂的媒体能力协商逻辑,支持多种音视频编解码器的匹配和选择。错误处理完善:在每一层都有完善的错误检查和处理机制。线程安全。

2025-08-24 17:33:02 1371

原创 WebRTC 接收端:从收到 RTP 包到交给解码器的万字详解

带你从源码角度彻底吃透「接收端从网络包到解码器」的全链路。。fill:#333;Decoder连续包列表依赖检查可解码帧列表Decode()Decoderfill:#333;Decoder连续包列表依赖检查可解码帧列表Decode()Decoder。

2025-07-18 20:08:54 1136

原创 WebRTC 平滑发送与带宽评估全解析(万字长文)

总结:平滑之道,止于至善参考资料估计先行,平滑护航:任何高级 BWE 都离不开稳定的 Pacer。多信源融合:吞吐量、丢包、RTT、接收端信令共同决定带宽。容错与恢复并重:RTT Backoff 勇于退让,Probe&Pacing 敢于探路。面向未来,WebRTC 将持续在 QUIC、多路并行传输上演进,但「平滑发送 + 自适应带宽」的核心哲学不会改变。

2025-07-13 11:35:23 690

原创 WebRTC带宽评估与码率控制深度剖析:从算法原理到工程实现

WebRTC的带宽评估和码率控制系统是一个高度复杂但精妙设计🔍 多维度评估基于延迟的实时检测基于丢包的历史分析主动探测的前瞻判断⚡ 自适应调整AIMD算法的精细化实现队列感知的动态调整网络状态的快速响应🎛️ 协同机制带宽评估与平滑发送的紧密配合债务预算算法的精确控制实时监控的全面覆盖。

2025-06-30 00:11:16 1052

原创 WEBRTC 带你精通《平滑发送模块》下

📊图1:WebRTC平滑发送机制概览- 展示网络拥塞问题与WebRTC Pacing解决方案的对比在实时音视频通信的世界里,网络就像一条拥挤的高速公路。如果所有车辆(数据包)都同时涌入,必然会造成严重的交通拥堵。WebRTC通过精巧的Pacing机制来解决这一问题,就像在高速公路入口设置红绿灯一样,控制车辆有序进入。特性功能描述⚡平滑发送避免突发拥塞🎯优先级保证音频包优先发送📊自适应调整应对网络变化🔍主动探测感知带宽变化📈可观测性完善监控体系🔧工程化思维:考虑边界情况和异常处理,生产级可靠性。

2025-06-24 19:47:08 1091

原创 用Cursor征服WebRTC:从1740行代码到深度理解的AI编程之旅

最近我在研究WebRTC源码时遇到了一个令人头疼的问题:面对一个包含1740行代码的接口文件,我该如何快速理解其核心功能?传统的方法是一行行阅读、画UML图、查阅文档… 这个过程往往需要几天甚至几周的时间。直到我开始使用Cursor,一切都变了。在短短几个小时内,我不仅理解了WebRTC的核心架构,还生成了调试工具、单元测试,甚至分析了构建系统。这篇文章就是我这次AI编程之旅的完整记录。这次WebRTC源码探索之旅让我深刻体验到了AI编程助手的强大威力。🔍快速理解复杂的代码架构🛠️生成高质量。

2025-06-24 11:30:07 2055

原创 WEBRTC 带你精通《平滑发送模块》中

💡 体现的核心设计原则现在我们来到了整个视频发送流程的"终极大脑":PacingController::EnqueuePacket。这是决定何时、如何发送每个RTP包的智能调度中心!

2025-06-23 02:53:49 1966 2

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除