从内存中读取数据到ffmpeg中

本文深入解析ffmpeg如何从内存中读取数据并应用到网络数据包解码场景,包括初始化AVIOContext、内存缓存iobuffer及自定义读取回调函数fill_iobuffer的实现细节。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

ffmpeg一般情况下支持打开一个本地文件,例如“C:\test.avi”

或者是一个流媒体协议的URL,例如“rtmp://222.31.64.208/vod/test.flv”

其打开文件的函数是avformat_open_input(),直接将文件路径或者流媒体URL的字符串传递给该函数就可以了。

但其是否支持从内存中读取数据呢?这个问题困扰了我很长时间。当时在做项目的时候,通过Winpcap抓取网络上的RTP包,打算直接送给ffmpeg进行解码。一直没能找到合适的方法。因为抓取的数据包是存在内存中的,所以无法传递给avformat_open_input()函数其路径(根本没有路径= =)。当然也可以将抓取的数据报存成文件,然后用ffmpeg打开这个文件,但是这样的话,程序的就太难控制了。

后来经过分析ffmpeg的源代码,发现其竟然是可以从内存中读取数据的,代码很简单,如下所示:

[cpp]  view plain copy
  1. AVFormatContext *ic = NULL;  
  2. ic = avformat_alloc_context();  

[cpp]  view plain copy
  1. unsigned char * iobuffer=(unsigned char *)av_malloc(32768);  
  2. AVIOContext *avio =avio_alloc_context(iobuffer, 32768,0,buffer,fill_iobuffer,NULL,NULL);  
  3. ic->pb=avio;  
  4. err = avformat_open_input(&ic, is->filename, is->iformat, &format_opts);  

关键要在avformat_open_input()之前初始化一个AVIOContext, 而且将原本的AVFormatContext的指针pb(AVIOContext类型)指向这个自行初始化AVIOContext。当自行指定了AVIOContext之后,avformat_open_input()里面的URL参数就不起作用了。示例代码开辟了一块空间iobuffer作为AVIOContext的缓存。

此外buffer就是期望读取数据的内存,fill_iobuffer则是读取buffer数据至iobuffer的回调函数。fill_iobuffer()形式(参数,返回值)是固定的,是一个回调函数,如下所示(只是个例子,具体怎么读取数据可以自行设计)。

[cpp]  view plain copy
  1. //把数据从buffer向iobuf传-------------------------  
  2. //AVIOContext使用的回调函数!  
  3. //注意:返回值是读取的字节数  
  4. //手动初始化AVIOContext只需要两个东西:内容来源的buffer,和读取这个Buffer到FFmpeg中的函数  
  5. int fill_iobuffer(void * buffer,uint8_t *iobuf, int bufsize){  
  6.     int i;  
  7.     for(i=0;i<bufsize;i++){  
  8.     iobuf[i]=mediabuf_get();  
  9.     }  
  10. //将自己的buffer copy到  iobuf中,
  11. //   memcpy(iobuf,自己的buffer,buffersize); // iobuf = 自己的buffer
  12.     return i;  
  13. }  
要将内存中的YUV数据混合成一个视频,可以使用FFmpeg库进行处理。以下是一个基本的示例代码: ```c #include <stdio.h> #include <stdlib.h> #include <string.h> #include <stdint.h> #include <math.h> #include <libavcodec/avcodec.h> #include <libavutil/imgutils.h> #include <libavutil/opt.h> #include <libavutil/mathematics.h> #define WIDTH 640 #define HEIGHT 480 #define FPS 25 int main(int argc, char *argv[]) { int ret; AVCodec *codec; AVCodecContext *codec_context; AVFrame *frame; AVPacket packet; uint8_t *buffer; int buffer_size; int frame_count = 0; /* Allocate frame */ frame = av_frame_alloc(); if (!frame) { fprintf(stderr, "Error allocating frame\n"); exit(1); } /* Set frame properties */ frame->format = AV_PIX_FMT_YUV420P; frame->width = WIDTH; frame->height = HEIGHT; /* Allocate buffer for frame */ buffer_size = av_image_get_buffer_size(frame->format, frame->width, frame->height, 1); buffer = av_malloc(buffer_size); av_image_fill_arrays(frame->data, frame->linesize, buffer, frame->format, frame->width, frame->height, 1); /* Open codec */ codec = avcodec_find_encoder(AV_CODEC_ID_H264); if (!codec) { fprintf(stderr, "Codec not found\n"); exit(1); } codec_context = avcodec_alloc_context3(codec); if (!codec_context) { fprintf(stderr, "Error allocating codec context\n"); exit(1); } /* Set codec properties */ codec_context->width = WIDTH; codec_context->height = HEIGHT; codec_context->pix_fmt = AV_PIX_FMT_YUV420P; codec_context->time_base = (AVRational){1, FPS}; codec_context->bit_rate = 400000; /* Open codec */ ret = avcodec_open2(codec_context, codec, NULL); if (ret < 0) { fprintf(stderr, "Error opening codec: %s\n", av_err2str(ret)); exit(1); } /* Encode frames */ while (frame_count < FPS * 10) { /* Generate YUV data */ uint8_t *y_data = malloc(WIDTH * HEIGHT); uint8_t *u_data = malloc(WIDTH * HEIGHT / 4); uint8_t *v_data = malloc(WIDTH * HEIGHT / 4); // fill y_data, u_data, v_data with your desired YUV data /* Convert YUV data to frame */ int y_size = WIDTH * HEIGHT; int u_size = y_size / 4; int v_size = y_size / 4; memcpy(frame->data[0], y_data, y_size); memcpy(frame->data[1], u_data, u_size); memcpy(frame->data[2], v_data, v_size); /* Set frame properties */ frame->pts = frame_count++; /* Encode frame */ ret = avcodec_send_frame(codec_context, frame); if (ret < 0) { fprintf(stderr, "Error sending frame to codec: %s\n", av_err2str(ret)); exit(1); } while (ret >= 0) { ret = avcodec_receive_packet(codec_context, &packet); if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) break; else if (ret < 0) { fprintf(stderr, "Error receiving packet from codec: %s\n", av_err2str(ret)); exit(1); } /* Write packet to file or stream */ // fwrite(packet.data, 1, packet.size, outfile); av_packet_unref(&packet); } free(y_data); free(u_data); free(v_data); } /* Flush encoder */ ret = avcodec_send_frame(codec_context, NULL); if (ret < 0) { fprintf(stderr, "Error sending flush frame to codec: %s\n", av_err2str(ret)); exit(1); } while (ret >= 0) { ret = avcodec_receive_packet(codec_context, &packet); if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) break; else if (ret < 0) { fprintf(stderr, "Error receiving packet from codec: %s\n", av_err2str(ret)); exit(1); } /* Write packet to file or stream */ // fwrite(packet.data, 1, packet.size, outfile); av_packet_unref(&packet); } /* Free resources */ avcodec_free_context(&codec_context); av_frame_free(&frame); av_free(buffer); return 0; } ``` 在此示例中,我们使用`av_image_fill_arrays()`函数分配了一个YUV420P格式的AVFrame,并将其用作编码器的输入。我们使用`avcodec_send_frame()`函数将帧发送到编码器进行编码,然后使用`avcodec_receive_packet()`函数从编码器接收编码数据包。最后,我们使用`av_packet_unref()`函数释放数据包并清除任何剩余的缓存数据。 要生成要混合的YUV数据,您可以从文件读取数据,也可以在内存中生成数据。无论哪种方法,您都需要将其复制到AVFrame的data数组中。请注意,AVFrame中的YUV数据顺序是YUV420P,即先是所有的Y分量,然后是U和V分量交错。因此,在将YUV数据复制到AVFrame之前,请确保按正确的顺序复制它们。 希望这可以帮助您开始使用FFmpeg处理内存中的YUV数据。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值