【c++】使用FFmpeg库进行视频流处理的

最新推荐文章于 2025-05-09 15:24:19 发布
最新推荐文章于 2025-05-09 15:24:19 发布
阅读量2.4k 收藏 17
点赞数
文章标签： c++ ffmpeg 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_47564581/article/details/134885024
版权 
使用FFmpeg库进行视频流处理的C++代码。主要功能是拉取RTSP流，解码视频帧，并将解码后的帧转换成Qt中的QImage，最后通过信号发射将图像传递给界面。

下面是对代码的详细解释：

  1. 初始化FFmpeg库和网络库：

    cppCopy codeavformat_network_init();
av_register_all();

    这两行代码用于初始化FFmpeg库和网络库，确保在使用解封装（flv，mp4，rmvb，avi）功能和编解码器之前进行了初始化。

  2. 打开视频流：

    cppCopy codeAVFormatContext *pFormatCtx = avformat_alloc_context();
AVDictionary* avdic = NULL;
av_dict_set(&avdic, "buffer_size", "102400", 0);
av_dict_set(&avdic, "rtmp_transport", "tcp", 0);
av_dict_set(&avdic, "stimeout", "2000000", 0);
av_dict_set(&avdic, "max_delay", "300000", 0);
if (avformat_open_input(&pFormatCtx, url, NULL, &avdic) != 0) {
    qDebug("can't open the file.\n");
    return;
}

    这部分代码用于打开RTSP流或文件流，设置了一些参数以优化流的拉取，例如设置缓存大小、超时时间等。

  3. 查找视频流信息：

    cppCopy codeif (avformat_find_stream_info(pFormatCtx, NULL) < 0) {
    qDebug("Could't find stream infomation.\n");
    return;
}

    这里通过avformat_find_stream_info函数获取流的相关信息。

  4. 查找视频流：

    cppCopy codeint videoStream = -1;
for (i = 0; i < pFormatCtx->nb_streams; i++) {
    if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO) {
        videoStream = i;
        break;
    }
}

    遍历流，找到视频流的索引。

  5. 查找解码器并打开：

    cppCopy codepCodecCtx = pFormatCtx->streams[videoStream]->codec;
pCodec = avcodec_find_decoder(pCodecCtx->codec_id);
if (pCodec == NULL) {
    qDebug("Codec not found.\n");
    return;
}
if (avcodec_open2(pCodecCtx, pCodec, NULL) < 0) {
    qDebug("Could not open codec.\n");
    return;
}

    找到视频流的解码器并打开。

  6. 循环解码视频帧：

    cppCopy codewhile (1) {
    if (av_read_frame(pFormatCtx, packet) < 0) {
        qDebug() << "av_read_frame < 0";
        break;
    }
    if (packet->stream_index == videoStream) {
        ret = avcodec_decode_video2(pCodecCtx, pFrame, &got_picture, packet);
        if (ret < 0) {
            qDebug("decode error.\n");
            return;
        }
        if (got_picture) {
            // 进行缩放、格式转换等操作
            sws_scale(img_convert_ctx, pFrame->data, pFrame->linesize, 0, pCodecCtx->height, pFrameRGB->data, pFrameRGB->linesize);
            // 将RGB数据加载到QImage
            QImage tmpImg((uchar *)out_buffer, pCodecCtx->width, pCodecCtx->height, QImage::Format_RGB32);
            QImage image = tmpImg.copy();
            // 发射信号，传递图像给界面
            emit output_imag(image);
        } else {
            qDebug() << "got_picture < 0";
        }
    } else {
        av_free_packet(packet);
    }
}

    在循环中，通过av_read_frame读取视频帧，然后使用avcodec_decode_video2解码。如果解码成功，进行格式转换、缩放，并将RGB数据加载到QImage中。最后通过信号发射将图像传递给界面。

  7. 释放资源：

    cppCopy codeav_free(out_buffer);
av_free(pFrameRGB);
avcodec_close(pCodecCtx);
avformat_close_input(&pFormatCtx);

    最后释放分配的资源，包括输出缓冲区、帧以及关闭解码器和输入流。

请注意，这段代码中使用了一些已被弃用的函数（例如avcodec_decode_video2和av_free_packet），新版的FFmpeg可能需要做相应的更新。此外，对于实时视频流，循环的方式并不是最优的，因为它会一直运行，最好的方式是将其放在单独的线程中。

封装成函数

void MyVideoCapture::run_stream()  //ffmpeg拉流获取视频帧
{
    AVFormatContext *pFormatCtx;
    AVCodecContext *pCodecCtx;
    AVCodec *pCodec;
    AVFrame *pFrame, *pFrameRGB;
    AVPacket *packet;
    uint8_t *out_buffer;
    static struct SwsContext *img_convert_ctx;
    int videoStream, i, numBytes;
    int ret, got_picture;
    avformat_network_init(); // 初始化网络库
    av_register_all();// 初始化所有组件，调用该函数后，才能使用复用器和编解码器
    pFormatCtx = avformat_alloc_context();// 分配AVFormatContext，它是FFMPEG解封装（flv，mp4，rmvb，avi）功能的结构体
    // ffmpeg取rtsp流时av_read_frame阻塞的解决办法 设置参数优化
    AVDictionary* avdic = NULL;
    av_dict_set(&avdic, "buffer_size", "102400", 0); //设置缓存大小，1080p可将值调大
    av_dict_set(&avdic, "rtmp_transport", "tcp", 0); //以udp方式打开，如果以tcp方式打开将udp替换为tcp
    av_dict_set(&avdic, "stimeout", "2000000", 0);   //设置超时断开连接时间，单位微秒
    av_dict_set(&avdic, "max_delay", "300000", 0);   //设置最大时延
    ///rtsp地址，可根据实际情况修改
    char *url;
    //        QString ab = "C:/Users/goby/Desktop/Video_left.mp4";rtsp_address
    url= addrest.toLocal8Bit().data();
    //  qDebug() << url << "url"<<addrest;
    if (avformat_open_input(&pFormatCtx, url, NULL, &avdic) != 0) {  // 打开网络流或文件流
        qDebug("can't open the file. \n");
        return;
    }
    if (avformat_find_stream_info(pFormatCtx, NULL) < 0) { // 读取流数据包并获取流的相关信息
        qDebug("Could't find stream infomation.\n");
        return;
    }
    videoStream = -1;
    // 确定流格式是否为视频
    for (i = 0; i < pFormatCtx->nb_streams; i++) {
        if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO)
        {
            videoStream = i;
            break;
        }
    }
    ///如果videoStream为-1 说明没有找到视频流
    if (videoStream == -1) {
        qDebug("Didn't find a video stream.\n");
        return;
    }

    ///查找解码器
    pCodecCtx = pFormatCtx->streams[videoStream]->codec;
    pCodec = avcodec_find_decoder(pCodecCtx->codec_id);  // 根据编码器的ID号查找对应的解码器
    pCodecCtx->bit_rate = 0;   //码率
    pCodecCtx->time_base.num = 1;  //下面两行：一秒钟10帧
    pCodecCtx->time_base.den = 10;
    pCodecCtx->frame_number = 1;  //每包一个视频帧
    if (pCodec == NULL) {
        qDebug("Codec not found.\n");
        return;
    }
    // Initialize the AVCodecContext to use the given AVCodec
    if (avcodec_open2(pCodecCtx, pCodec, NULL) < 0) {
        qDebug("Could not open codec.\n");
        return;
    }
    // alloc AVFrame
    pFrame = av_frame_alloc();
    pFrameRGB = av_frame_alloc();
    ///这里我们改成了 将解码后的YUV数据转换成RGB32
    img_convert_ctx = sws_getContext(pCodecCtx->width, pCodecCtx->height,pCodecCtx->pix_fmt, pCodecCtx->width, pCodecCtx->height,
                                     AV_PIX_FMT_RGB32, SWS_BICUBIC, NULL, NULL, NULL);
    numBytes = avpicture_get_size(AV_PIX_FMT_RGB32, pCodecCtx->width,pCodecCtx->height);
    out_buffer = (uint8_t *) av_malloc(numBytes * sizeof(uint8_t));
    // 将分配的内存空间给m_AVFrameRGB使用
    avpicture_fill((AVPicture *) pFrameRGB, out_buffer, AV_PIX_FMT_RGB32,
                   pCodecCtx->width, pCodecCtx->height);
    // 为AVPacket分别内存空间
    int y_size = pCodecCtx->width * pCodecCtx->height;
    packet = (AVPacket *) malloc(sizeof(AVPacket)); //分配一个packet
    av_new_packet(packet, y_size); //分配packet的数据
    int j=0;
    while (1)
    {
        j++;
        if (av_read_frame(pFormatCtx, packet) < 0)
        {
            qDebug() << "av_read_frame < 0";
            break; //这里认为视频读取完了
        }
        if (packet->stream_index == videoStream)
        {
            ret = avcodec_decode_video2(pCodecCtx, pFrame, &got_picture,packet);
            if (ret < 0) {
                qDebug("decode error.\n");
                return;
            }
            if (got_picture)
            {// 对解码视频帧进行缩放、格式转换等操作
                sws_scale(img_convert_ctx,(uint8_t const * const *) pFrame->data,pFrame->linesize, 0, pCodecCtx->height, pFrameRGB->data, pFrameRGB->linesize);
                //把这个RGB数据 用QImage加载
                QImage tmpImg((uchar *)out_buffer,pCodecCtx->width,pCodecCtx->height,QImage::Format_RGB32);
                QImage image = tmpImg.copy(); //把图像复制一份 传递给界面显示
                emit output_imag(image);
            }else qDebug() << "got_picture < 0";
        }else /*qDebug() << "packet->stream_index not video stream";*/
            av_free_packet(packet); //释放资源,否则内存会一直上升
    }
    //对MyFFmpegInit接口中申请的资源进行释放操作
    av_free(out_buffer);
    av_free(pFrameRGB);
    avcodec_close(pCodecCtx);
    avformat_close_input(&pFormatCtx);
}
四维碎片
关注
C++实现FFmpeg音视频实时拉流并播放
03-24 1573
下载rtsp流媒体服务器rtsp-simple-server,安装go开发环境并编译。使用CLion创建一个控制台应用,拉流,并输出所读取的每一帧信息。上面因为开始解码时第一帧不是关键帧,导致后面无法解码。准备一个要推流的mp4视频文件,如db.mp4。使用ffmpeg命令转换为mp4格式,正常播放。成功读取RTSP流并输出到文件(FLV格式)输出到当前目录rtsp_out.flv。使用VLC测试播放输出的FLV文件。调整代码直接将流写到输出文件。使用ffmpeg开始推流。推流成功,出现如下信息。
c++ 调用 ffmpeg 编程
热门推荐
KUAILE123的专栏
09-08 1万+
这个ffmpeg的使用看的是一头雾水，前两天还在一个劲地编译，也没编译成功。 请教了一个同学，说这个库很强大，一般不需要编译就可以使用。 这次直接从官网上下的 http://ffmpeg.zeranoe.com/builds/的 ffmpeg-20130906-git-bcd1c20-win64-static.7z   （静态编译） ffmpeg-20130906-git-bcd1c2
C++调用ffmpeg库来实现将rtsp流服务器上的视频流拉取下来，并保存成MP4格式
weixin_41996577的博客
02-14 1085
引言在 FFmpeg 中，格式上下文（Format Context）是一个非常核心且重要的概念，主要通过 AVFormatContext 结构体来表示。定义AVFormatContext 是 FFmpeg 库中用于存储音视频文件或流的全局信息的结构体，它可以看作是音视频数据处理过程中的一个 “信息容器”，管理着输入或输出文件的各种格式相关信息。作用输入文件处理格式探测：当打开一个输入文件或流时，FFmpeg 会通过格式上下文来探测文件的格式，确定是 MP4、AVI、FLV 等哪种具体的文件格式。
【C++】FFmpeg-多媒体框架
最新发布
weixin_43510208的博客
05-09 987
一、FFmpeg 核心概念。
FFmpeg - C++中使用ffmpeg库
leonpengweicn的专栏
02-17 7109
http://blog.sina.com.cn/s/blog_8cfe05150100uhm2.html ffmpeg库的接口都是c函数，其头文件也没有extern "C"的声明，所以在cpp文件里调用ffmpeg函数要注意了。 一般来说，一个用C写成的库如果想被C/C++同时可以使用，那在头文件应该加上 #ifdef __cplusplus extern "C" { #endi
在Visual Studio 2010[VC++]中使用ffmpeg类库
eryadabendan的专栏
06-28 1274
http://www.cnblogs.com/Jerry-Chou/archive/2011/03/31/2000761.html#commentform 在Visual Studio 2010[VC++]中使用ffmpeg类库 1，准备工作 很多播放器都使用了ffmpeg这个类库来编解码，使用没有关系，但总是有些人不守规则。在耻辱榜上我看到了腾讯
C++调用ffmpeg sdk开发
XiaoWuiiii的博客
10-24 4218
一开始我想直接就用输入源的参数，参数太多了懒得一个一个报错了再去改，谁知道错的离谱，代码里面我自己设定了几个参数，可能不太全，但是代码可以运行了，结果也是准确的，还是不错的，毕竟自己也是刚开始学习。首先整体的流程，在网上看到有大佬给出了基于ffmpeg格式转换的流程，如下图，是FLV转到AVI的，我只有几个MP4文件，所以就参考大佬的流程做一个MP4转AVI吧。...本来想通过实现各个格式的相互转换来熟悉ffmpeg的，但是发现内容有点多，就只实现了mp4转成avi格式。总体来说流程还不是太难。
C++---基于ffmpeg实现视频播放器（一）
qq_42708024的博客
03-06 6116
ffmpeg.exe 功能： ffmpeg.exe实现视频的转码。 命令格式 ffmpeg -i [输入文件的路径] -b:v [输出文件的码率] [输入文件的路径] 简单命令 ffmpeg -i input.avi -b:v 640k output.ts 命令的作用：将当前文件夹下的input.avi文件转换为output.ts文件，并将output.ts文件视频的码率设置...
C++源码 使用Ffmpeg 获取 视频流中的关键帧
06-22
本文将深入探讨如何使用C++结合FFmpeg库在Visual Studio 2010环境下获取视频流中的关键帧。 首先，让我们理解一下关键帧的概念。关键帧（I帧）是视频编码中的一个重要组成部分，它是一个完整的图像，可以独立解码而...
QT使用FFmpeg库实现视频流播放
10-11
QT是一个跨平台的C++图形用户界面应用程序开发框架，而FFmpeg则是一个开源的多媒体处理库，支持各种音视频编码、解码、转码以及流媒体操作。下面将详细阐述如何在QT中集成FFmpeg库来实现视频流播放。 首先，为了在...
C++ 通过FFmpeg将rtsp视频流到本地mp4文件.zip
08-07
在C++环境中，使用FFmpeg库可以实现从RTSP（Real Time Streaming Protocol）视频流中捕获数据，并将其保存为本地的MP4文件。这个过程涉及到了网络协议处理、多媒体数据解析和文件封装等多个技术点。 首先，RTSP是一...
c++使用ffmpeg把h264/h265和mp3写入mp4文件
09-06
c++使用ffmpeg把h264/h265和mp3写入mp4文件,内含ffmpeg库、示例demo、视频素材。
基于ffmpeg的windows c++程序
05-31
基于ffmpeg的windows c++程序，使用c++语言调用ffmpeg函数库，实现音视频媒体文件信息输出。可以参考博客：http://blog.youkuaiyun.com/grafx/article/details/27806667
C++视频流转发实现
04-16
StreamServer.h里定义了下面两个接口, Demo里对这个接口进行了实现, 循环放10张图 struct StreamReader { virtual int GetData(char* buffer, int* length, unsigned long* sequence, unsigned long* timestamp) = 0; virtual ~StreamReader(){} }; struct StreamReaderFactory { virtual StreamReader* CreateStreamReader(int channel) = 0; };
c++使用cmake链接ffmpeg并读取视频文件显示出来
04-24
一个简单的通过c++接口调用ffmpeg实现了读取一段视频并通过opencv显示出来，以及写入文档文件中
C++ FFMpeg实例
10-15
从摄像头URL地址采集，播放视频，方便学习FFMPEG的拉流，采集应用。
(源码)基于C++和FFmpeg的Rtsp视频流处理系统.zip
04-13
项目依赖于FFmpeg库进行视频流的编解码处理。 ## 项目的主要特性和功能 1. 依赖管理项目依赖于FFmpeg库，用户需将FFmpeg的include和lib文件夹加入到项目中，以确保程序能够正确编译和运行。 2. 配置文件操作项目...
C++封装FFMPEG拉取RTSP的音视频流接口类
09-27
本篇文章将详细介绍如何使用C++封装FFmpeg库来实现RTSP拉流，并通过回调方式处理接收到的数据。 首先，我们需要理解RTSP协议。RTSP是一种应用层控制协议，用于控制多媒体数据的传输，常用于实时流媒体服务。通过...
C++调用FFMpeg接口
Angle502的专栏
12-09 6564
1.首先下载FFMpeg FFMpeg编译有些复杂，我就没有自己编译，在FFMpeg官网下载FFMpeg的dev和share两个版本。dev目录如下： 里面有创建项目需要的头文件和lib文件，但是没有dll，创建一个新的项目，添加include和lib依赖引用，编译可以通过，但是运行的时候会出现缺少dll的错误提示。 下载share版本，目录如下：
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值