webrtc中的video rtp packet 接收组包过程

最新推荐文章于 2025-06-26 22:35:25 发布
最新推荐文章于 2025-06-26 22:35:25 发布
阅读量5.7k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： WebRTC
本文为博主原创文章，未经博主允许不得转载。 如果转载，需要获得作者授权。保留追究法律责任的权力。
本文链接：https://blog.youkuaiyun.com/chinabinlang/article/details/78293728
WebRTC 专栏收录该内容
101 篇文章 ¥29.90 ¥99.00
订阅专栏
本文介绍了WebRTC在接收视频RTP包后，如何进行解析、组包以及缓存的过程。主要涉及PhysicalSocket实现的UDP数据接收，RtpReceiverImpl的处理流程，包括RTPHeader解析、VideoReceiveStream::OnCompleteFrame中的H264帧处理，以及视频缓存队列PacketBuffer和FrameBuffer的使用。解析后的数据经过PacketBuffer插入，当形成完整H264帧时回调OnReceivedFrame，最终在FrameBuffer中进行解码显示。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

当前版本为webrtc58；

 

一：webrtc中，接收视频packet的基本过程是（这里说的的H264，vp8和vp9是一样的过程，在解析后会判断类型，构造RtpDepacketizer）： 

//接收 video rtp_packet

通过 class PhysicalSocket : public AsyncSocket, public sigslot::has_slots<> ，真正实现网络UDP数据发送，接收；

 

// rtp packet 解析 为 RTPHeader +  ParsedPayload  ->   构造 WebRtcRTPHeader  ->  构造 VCMPacket -> packet_buffer_->InsertPacket(&packet)

bool RtpReceiverImpl::IncomingRtpPacket   ->   int32_t RTPReceiverVideo::ParseRtpPacket  ->   int32_t RtpStreamReceiver::OnReceivedPayloadData

 

// video rtp packet ->  h264

了解本专栏 订阅专栏 解锁全文
【webrtc】packetbuffer：rtp包组帧
突围
11-07 648
rtp video 收包 组帧
【webrtc】接收/发送的rtp包、编解码的VCM包、CopyOnWriteBuffer
突围
09-04 856
rtp包
webrtc_h264_组包
liuhongxian的专栏
03-30 910
rtp 在传输的时候 h264 是按照nalu组包的 webrtc 里有 单个NAL单元包 stap-a fu-a http://blog.youkuaiyun.com/chen495810242/article/details/39207305 打包时要去掉startco
WebRTC（十）：RTP和SRTP
最新发布
www_dong的博客
06-26 1119
RTP 用于（如音频、视频），它不提供可靠传输，而是关注低延迟、高实时性。
webrtc 接收packt包后处理
occupy8的专栏
10-24 1077
逻辑上讲，webrtc收到rtp包以后，是组帧操作。也就是packet到frame。 注意rtp包的封包形式，stapA FU-A，单一单元组合包。可以参考http://blog.youkuaiyun.com/jwybobo2007/article/details/7054140
WEBRTC音视频接收(从网络接收RTP包到组帧)
伍意的博客
09-07 6589
 WebRtcSession::SetLocalDescription|WebRtcSession::SetRemoteDescription-> WebRtcSession::CreateChannels->WebRtcSession::CreateVoiceChannel| WebRtcSession::CreateVideoChannel->ChannelManager::Cr
webrtc研究-视频接收端处理
liuhongxian的专栏
12-12 3204
在call.h 里面有定义，我们把接收到的数据调用 DeliverPacket 即可class PacketReceiver { public: enum DeliveryStatus { DELIVERY_OK, DELIVERY_UNKNOWN_SSRC, DELIVERY_PACKET_ERROR, }; virtual DeliveryStatus Del
WebRTC中RTP/RTCP协议实现分析
yinshipin007的博客
10-10 784
若是，则首先从RTPSender::GetDataCounters()获取RTP发送统计信息，然后调用RTCPSender::SendRTCP()，接着是SendCompoundRTCP()发送RTCP组合报文。在接收端，RTP报文的接收和解包操作主要在Worker线程中执行，RTP报文从Network线程拿到后，进入Worker线程，经过解包操作，进入VCM模块，由Decode线程进行解码，最终由Render线程进行渲染。需要注意的是，在RtpSender中进行Rtp发送后，会统计RTP报文相关信息。
WEBRTC 接收H264 RTP数据流小结
irainsa的博客
02-20 394
整体的数据流程在上面的已经做了一个简单的描述，其中比较主要的是还标黄色的几个类。由于时间有限，还是会有很多具体的细节没有扩展，比如packet buffer的拼frame的逻辑，FrameBuffer找decodable frame的逻辑。这些可以在下次的文章中再和大家分享。WEBRTC 接收H264 RTP数据流小结 - 简书。
webrtc H264组包流程
sunxiaopengsun的专栏
07-21 298
https://blog.youkuaiyun.com/oHuiJian1/article/details/106092021
RTP Payload Format for H.264 Video（RFC3984中文版）
记事本
11-10 880
转自：https://blog.youkuaiyun.com/smilestone_322/article/details/17892967 英文版：http://www.faqs.org/rfcs/rfc3984.html H.264视频的RTP荷载格式 Status of This Memo    This document specifies an Internet standards trac...
WebRTC之H.264打包RtpPacketizerH264
123456789
03-28 2588
文章目录RFC6184协议协议中的缩写打包模式和负载结构介绍NALU HDR（NAL单元头部）STAPMTAPFURtpPacketizerH264代码分析WebRTC中的打包模式和包结构代码分析 要读懂这部分代码需要知道RTP打包协议相关的知识，具体可以阅读相关RFC文档-RFC6184 RTP Payload Format for H.264 Video RFC6184协议 由于受到MTU限制...
webrtc 代码学习（八）Video rtp 获取数据流程
Miracle_包子
11-11 2311
获取数据 作者：LanPZzzz 文章目录接收数据，从::recvfrom， video rtp packet 到 frame_buffer_ 中存储 接收数据，从::recvfrom， video rtp packet 到 frame_buffer_ 中存储 void AsyncUDPSocket::OnReadEvent（rtc_base\asyncudpsocket.cc 107 行） -&...
【粗读webrtc】 RtpPacketToSend
突围
06-26 437
rtp_rtcp_format 模块 O:\WEBRWTCSTORE\webrtc-checkout\src\modules\rtp_rtcp\source\rtp_packet_to_send.h RtpPacketToSend 继承 RtpPacket 业务数据包：封装在rtpsend包里，业务自定义 std::vector<uint8_t> application_data_; 业务包访问： // Additional data bound to the RT..
RTP协议全解析（H264码流和PS流）
最胖的棒棒的博客
03-12 920
写在前面：RTP的解析，网上找了很多资料，但是都不全，所以我力图整理出一个比较全面的解析， 其中借鉴了很多文章，我都列在了文章最后，在此表示感谢。 互联网的发展离不开大家的无私奉献，我决定从我做起，希望大家支持。 原创不易，转载请附上链接，谢谢http://blog.youkuaiyun.com/chen495810242/article/details/39207305 1、RTP He...
webrtc SendVideo过程
jiangnankid的专栏
01-02 1053
0, 发包流程 bool RTPSenderVideo::SendEncodedImage( int payload_type, absl::optional<VideoCodecType> codec_type, uint32_t rtp_timestamp, const EncodedImage& encoded_image, RTPVideoHeader video_header, absl::optional<int64_
G.726实时RTP音频流保存到AVI文件中
zouwm12的博客
11-05 1216
ffmpeg的G726包括AV_CODEC_ID_ADPCM_G726LE和AV_CODEC_ID_ADPCM_G726，即小端和大端。 在avienc.c中,codec_tag设置了音视频封装成avi文件所支持的音视频编码 const AVCodecTag ff_codec_wav_tags[] = { { AV_CODEC_ID_PCM_S16LE, 0x0...
【webrtc】AsyncUDPSocket： 通过外部SocketFactory 创建异步udp socket，触发读写
突围
12-21 443
rtc_base\async_udp_socket.cc 第0步：构造：封装读写事件通知 和读写内存 第一步：创建AsyncSocket 第二步：AsyncSocket 绑定地址 触发读：读取然后调用SignalReadPacket 触发写：SignalReadyToSend 通知别人自己可以写了 发送：send和 sendto（带地址） 获取通信的双方 CopySocketInformationToPacketInfo 还跟VirtualSocke..
流媒体-RTP-RTCP协议解析-RTSP流的传输与控制（二）
bwangk的博客
01-23 3111
文章目录RTP(real-time transport protocol),实时传输协议相关概念同步源(SSRC,Synchronization source)作用源(CSRC,Contributing source )混频器和转换器(Mixers and Translators)RTP 包解析RTP 包头格式RTP 头扩展RTCP（RTP 控制协议）RTCP包类型SR（Sender Report）第一部分：头部（8字节）第二部分：发送者信息（20 字节）第三部分：零到多个接收报告块RR（Receiver
webrtc native开发，如何获取接收到编码数据
03-31
<think>好的，用户想了解在WebRTC Native开发中如何获取接收到的编码数据。首先，我需要回忆一下WebRTC的整体架构，特别是与数据接收相关的部分。WebRTC的数据传输主要涉及音视频流的处理，编码后的数据通常通过RTP传输，接收端需要解包、解码等步骤。 用户的问题是如何获取这些接收到的编码数据。可能需要从接收端的回调或接口入手。记得WebRTC中有各种观察者（Observer）和回调函数，比如在VideoReceiveStream或者RtpReceiver中可能会有相关的回调设置。 接下来，要考虑具体的实现步骤。首先，可能需要注册一个回调，当接收到编码帧时触发。例如，在VideoFrame中，可能有EncodedImage这样的结构体，里面包含编码后的数据。需要找到对应的接口，比如rtc::VideoSinkInterface<RecordableEncodedFrame>，或者使用SetFrameDecryptor或SetDepacketizerToDecoderCallback等方法。 另外，可能涉及到RtpPacketReceived接口，通过重载OnRtpPacket方法获取原始的RTP包，然后解析出负载数据，也就是编码后的数据部分。但这样可能需要手动处理RTP头，提取有效载荷。 还需要注意不同版本的WebRTC可能有不同的API，比如旧版本和新版本在回调接口上可能有所变化。此外，编码数据可能分为不同的轨道，比如音频和视频，处理方式可能不同，需要分别处理。 用户可能需要具体的代码示例，所以需要给出关键步骤的代码片段，比如实现回调接口，注册观察者，处理接收到的数据等。同时要提醒用户注意线程安全和数据生命周期的管理，避免悬挂指针或内存泄漏。 最后，要确保回答结构清晰，分步骤说明，让用户能够逐步实现获取编码数据的功能。同时，验证提到的API和接口是否准确，可能需要查阅最新的WebRTC文档或源代码确认，确保信息的正确性。</think>在WebRTC Native开发中，获取接收到的编码数据需要通过回调机制实现。以下是分步骤的实现方法： ### 一、核心原理 WebRTC通过`webrtc::VideoDecoder`和`webrtc::AudioDecoder`处理编码数据，接收端数据流路径： RTP解包 -> Jitter Buffer -> 解码回调 -> 渲染 ### 二、视频编码数据获取 #### 方法1：实现`rtc::VideoSinkInterface<EncodedImage>` ```cpp class EncodedFrameObserver : public rtc::VideoSinkInterface<webrtc::EncodedImage> { public: void OnFrame(const webrtc::EncodedImage& encoded_image) override { // 获取编码后的H.264/VP8/VP9等数据 const uint8_t* data = encoded_image.data(); size_t size = encoded_image.size(); // 处理数据... } }; // 注册观察者 video_receive_stream_->AddEncodedSink(&encoded_frame_observer); ``` #### 方法2：使用`SetDepacketizerToDecoderCallback`（新版本API） ```cpp video_receive_stream_->SetDepacketizerToDecoderCallback( [](std::unique_ptr<webrtc::RtpFrameObject> frame) { const webrtc::EncodedImage& encoded_image = frame->GetEncodedImage(); // 处理数据... return true; }); ``` ### 三、音频编码数据获取 ```cpp class AudioEncodedFrameObserver : public webrtc::AudioDecoder::EncodedAudioFrameObserver { public: void EncodedAudioFrame( const uint8_t* encoded_data, size_t encoded_len, const webrtc::AudioDecoder::SpeechType speech_type) override { // 处理Opus/AAC等编码数据 } }; // 注册观察者 audio_decoder_factory_->AddObserver(&audio_encoded_observer); ``` ### 四、原始RTP数据获取 ```cpp class RtpPacketSink : public webrtc::RtpPacketSinkInterface { public: void OnRtpPacket(const webrtc::RtpPacketReceived& packet) override { const uint8_t* payload = packet.payload().data(); size_t payload_length = packet.payload_size(); // 获取原始RTP负载数据 } }; // 注册到RtpReceiver rtp_receiver_->RegisterRtpPacketSink(&rtp_packet_sink); ``` ### 五、关键注意事项 1. **线程安全**：回调可能发生在worker线程，需要同步机制 2. **数据生命周期**：EncodedImage.data()指针仅在回调期间有效 3. **格式判断**：通过`codec_type`区分H.264/VP8/VP9等编码格式 4. **时间戳处理**：使用`encoded_image.Timestamp()`获取RTP时间戳 ### 六、典型应用场景 1. 视频录制（不经过解码） 2. 云端转码处理 3. 网络质量监测 4. 加密内容分析 建议参考WebRTC源码中的`video_stream_decoder_impl.cc`和`audio_receive_stream.cc`模块，这些是实现数据接收的核心模块。不同WebRTC版本API可能有差异，建议使用M84及以上版本保持接口稳定性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

chinabinlang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值