FFmpeg从RTSP获取流时:h264、h265 判断 I 帧的方法

本文详细介绍了如何使用ffmpeg接口av_read_frame从IPC摄像头获取H264和H265视频流,并通过NALU类型判断I帧的方法。对于H264,主要关注第5字节的值;而H265则需检查第4字节,并采用不同的位操作进行判断。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

H264中 I 帧的判断:

这是用ffmpeg接口:av_read_frame ()从IPC摄像头获取得到每一帧数据的前几十个字节,一般00 00 00 01分割之后的下一个字节就是NALU类型,NALU类型是可以用来判断帧的类型是I帧,还是P帧。即第5字节可以用来判断帧的类型,如:61 、 67 之类或者其他值

第5字节中:0x61 可以表示:0110 0001  、0x67 可以表示:0110 0111  ,共8位

  • 第1位:禁止位,值为1表示语法出错
  • 第2~3位为代表的参考级别
  • 第4~8为是nal单元类型

其中nalu值类型如下:

摄像头的  I 帧一般包含了:序列参数(sps)、图像参数(pps)、IDR图像所以naul的值为 7 就是 I 帧,所以只要判断 0x01 后面的字节 &(与上) 0x1f 为 7,即 (0x67 & 0x1f == 0x07)   条件成立,就是我们的I帧。代码如下:

if((0x0==data[0] && 0x0==data[1] && 0x0==data[2] && 0x01==data[3] && (0x07==(data[4] & 0x1f) )))
{
      I_flage = 1; //条件成立就是我们的I帧
}

ps:当然有些摄像头是 (00 00 01 67 ..) 开头,这时候是要第4位 67 来判断,即也是 01 之后!

-------------------------------------------------------------------------------

H265中 I 帧的判断:

这是用ffmpeg接口:av_read_frame ()从IPC摄像头获取得到每一帧数据的前几十个字节,一般 00 00 01分割之后的下一个字节就是NALU类型,NALU类型是可以用来判断帧的类型是I帧,还是P帧。即第4字节可以用来判断帧的类型,如:40 、02 之类或者其他值

与h264不同的是:h264是 type =  ( 0x_ _ & 0x1f)的值来判断类型

h265判断: type = ( 0x _ _ & 0x7E)  >> 1 的值来判断其类型。

h265帧数据一般有6种开头:

  • 1: 00 00 00 01 40 01 .... ,(0x40 & 0x7E)>> 1  值为 32, 语义为视频参数集        VPS
  • 2: 00 00 00 01 42 01 .... ,(0x42 & 0x7E)>> 1  值为 33, 语义为序列参数集         SPS
  • 3: 00 00 00 01 44 01 .... ,(0x44 & 0x7E)>> 1  值为 34, 语义为图像参数集         PPS
  • 4: 00 00 00 01 4E 01 ....,(0x4E & 0x7E)>> 1  值为 39, 语义为补充增强信息       SEI
  • 5: 00 00 00 01 26 01 .... ,(0x26 & 0x7E)>> 1  值为 19, 语义为可能有RADL图像的IDR图像的SS编码数据   IDR
  • 6: 00 00 00 01 02 01 .... ,(0x02 & 0x7E)>> 1  值为 1, 语义为被参考的后置图像

1、2、3、4、5合起来就是  I 帧,一般都在一帧的数据当中!

ps:ffmpeg移植过程当中 编译选项  --enable-parser=hevc 没有加进去的话 av_read_frame ()是不会帮你拼成一整帧的,这时候你就要自己动手把  1、2、3、4、5拼成一帧。(h265的 I 帧的拼帧后面的文章会持续更新)

所以当1、2、3、4、5在一整帧时,都是以 0x40 开头,只要如下判断:

if((0x0==data[0] && 0x0==data[1] && 0x1==data[2] ))
{
    int type = (data[3] & 0x7e) >> 1;
    if (type == 32){
        I_fiage = 1; //条件成立既为 I 帧
    } 
}

 

在 C++ 中使用 FFmpeg 抽取 RTSP 视频流的,可以按照以下步骤进行: 1. 初始化 FFmpeg 库 ```c++ #include <iostream> extern "C" { #include <libavcodec/avcodec.h> #include <libavformat/avformat.h> #include <libavutil/imgutils.h> #include <libswscale/swscale.h> } int main() { // 注册 FFmpeg 库中的所有可用的文件格式和编解码器 av_register_all(); return 0; } ``` 2. 打开 RTSP 视频流 ```c++ AVFormatContext* format_context = nullptr; AVCodecContext* codec_context = nullptr; AVCodec* codec = nullptr; // 打开 RTSP 视频流并读取视频流信息 if (avformat_open_input(&format_context, "rtsp://xxx.xxx.xxx.xxx:xxxx/xxx", nullptr, nullptr) != 0) { std::cout << "无法打开 RTSP 视频流" << std::endl; return -1; } // 获取视频流信息 if (avformat_find_stream_info(format_context, nullptr) < 0) { std::cout << "无法获取视频流信息" << std::endl; return -1; } // 查找视频流 int video_stream_index = -1; for (int i = 0; i < format_context->nb_streams; i++) { if (format_context->streams[i]->codecpar->codec_type == AVMEDIA_TYPE_VIDEO) { video_stream_index = i; break; } } if (video_stream_index == -1) { std::cout << "无法找到视频流" << std::endl; return -1; } // 获取视频流编解码器 codec_context = avcodec_alloc_context3(nullptr); if (!codec_context) { std::cout << "无法分配视频流编解码器上下文" << std::endl; return -1; } avcodec_parameters_to_context(codec_context, format_context->streams[video_stream_index]->codecpar); codec = avcodec_find_decoder(codec_context->codec_id); if (!codec) { std::cout << "无法找到视频流编解码器" << std::endl; return -1; } // 打开视频流编解码器 if (avcodec_open2(codec_context, codec, nullptr) < 0) { std::cout << "无法打开视频流编解码器" << std::endl; return -1; } ``` 3. 循环读取视频流 ```c++ AVFrame* frame = nullptr; AVPacket packet; int frame_count = 0; while (av_read_frame(format_context, &packet) >= 0) { // 判断是否为视频流包 if (packet.stream_index == video_stream_index) { // 解码视频流 frame = av_frame_alloc(); int ret = avcodec_send_packet(codec_context, &packet); if (ret < 0) { std::cout << "无法向视频流编解码器发送数据" << std::endl; break; } while (ret >= 0) { ret = avcodec_receive_frame(codec_context, frame); if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) { break; } else if (ret < 0) { std::cout << "无法解码视频流" << std::endl; goto end; } // 处理视频流 std::cout << "第 " << ++frame_count << " " << std::endl; // 释放数据 av_frame_unref(frame); } } // 释放视频流包 av_packet_unref(&packet); } end: // 释放资源 avcodec_free_context(&codec_context); avformat_close_input(&format_context); ``` 以上是抽取 RTSP 视频流的基本步骤,具体实现还需要根据实际需求进行调整。
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值