FFMPEG中有一个类库：libavfilter。该类库提供了各种视音频过滤器。之前一直没有怎么使用过这个类库，最近看了一下它的使用说明，发现还是很强大的，有很多现成的filter供使用，完成视频的处理很方便。在此将它的一个例子基础上完成了一个水印叠加器，并且移植到了VC2010下，方便开发人员学习研究它的使用方法。
该例子完成了一个水印叠加的功能。可以将一张透明背景的PNG图片作为水印叠加到一个视频文件上。需要注意的是，其叠加工作是在解码后的YUV像素数据的基础上完成的。程序支持使用SDL显示叠加后的YUV数据。也可以将叠加后的YUV输出成文件。
流程图（2014.9.29更新）
下面附一张使用FFmpeg的libavfilter的流程图。可以看出使用libavfilter还是需要做不少的初始化工作的。但是使用的时候还是比较简单的，就两个重要的函数：av_buffersrc_add_frame()和av_buffersink_get_buffer_ref()。
PS：这张图中只列出了和libavfilter有关的函数和结构体。代码中其它函数可以参考：100行代码实现最简单的基于FFMPEG+SDL的视频播放器（SDL1.x）
代码
下面直接贴上代码：
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
- #include <stdio.h>
-
- #define __STDC_CONSTANT_MACROS
-
- #ifdef _WIN32
- #define snprintf _snprintf
-
- extern "C"
- {
- #include "libavcodec/avcodec.h"
- #include "libavformat/avformat.h"
- #include "libavfilter/avfiltergraph.h"
- #include "libavfilter/avcodec.h"
- #include "libavfilter/buffersink.h"
- #include "libavfilter/buffersrc.h"
- #include "libavutil/avutil.h"
- #include "libswscale/swscale.h"
- #include "SDL/SDL.h"
- };
- #else
-
- #ifdef __cplusplus
- extern "C"
- {
- #endif
- #include <libavcodec/avcodec.h>
- #include <libavformat/avformat.h>
- #include <libavfilter/avfiltergraph.h>
- #include <libavfilter/avcodec.h>
- #include <libavfilter/buffersink.h>
- #include <libavfilter/buffersrc.h>
- #include <libavutil/avutil.h>
- #include <libswscale/swscale.h>
- #include <SDL/SDL.h>
- #ifdef __cplusplus
- };
- #endif
- #endif
-
-
- #define ENABLE_SDL 1
-
- #define ENABLE_YUVFILE 0
-
- const char *filter_descr = "movie=my_logo.png[wm];[in][wm]overlay=5:5[out]";
-
- static AVFormatContext *pFormatCtx;
- static AVCodecContext *pCodecCtx;
- AVFilterContext *buffersink_ctx;
- AVFilterContext *buffersrc_ctx;
- AVFilterGraph *filter_graph;
- static int video_stream_index = -1;
- static int64_t last_pts = AV_NOPTS_VALUE;
-
-
-
-
- static int open_input_file(const char *filename)
- {
- int ret;
- AVCodec *dec;
-
- if ((ret = avformat_open_input(&pFormatCtx, filename, NULL, NULL)) < 0) {
- printf( "Cannot open input file\n");
- return ret;
- }
-
- if ((ret = avformat_find_stream_info(pFormatCtx, NULL)) < 0) {
- printf( "Cannot find stream information\n");
- return ret;
- }
-
-
- ret = av_find_best_stream(pFormatCtx, AVMEDIA_TYPE_VIDEO, -1, -1, &dec, 0);
- if (ret < 0) {
- printf( "Cannot find a video stream in the input file\n");
- return ret;
- }
- video_stream_index = ret;
- pCodecCtx = pFormatCtx->streams[video_stream_index]->codec;
-
-
- if ((ret = avcodec_open2(pCodecCtx, dec, NULL)) < 0) {
- printf( "Cannot open video decoder\n");
- return ret;
- }
-
- return 0;
- }
-
- static int init_filters(const char *filters_descr)
- {
- char args[512];
- int ret;
- AVFilter *buffersrc = avfilter_get_by_name("buffer");
- AVFilter *buffersink = avfilter_get_by_name("ffbuffersink");
- AVFilterInOut *outputs = avfilter_inout_alloc();
- AVFilterInOut *inputs = avfilter_inout_alloc();
- enum PixelFormat pix_fmts[] = { PIX_FMT_YUV420P, PIX_FMT_NONE };
- AVBufferSinkParams *buffersink_params;
-
- filter_graph = avfilter_graph_alloc();
-
-
- snprintf(args, sizeof(args),
- "video_size=%dx%d:pix_fmt=%d:time_base=%d/%d:pixel_aspect=%d/%d",
- pCodecCtx->width, pCodecCtx->height, pCodecCtx->pix_fmt,
- pCodecCtx->time_base.num, pCodecCtx->time_base.den,
- pCodecCtx->sample_aspect_ratio.num, pCodecCtx->sample_aspect_ratio.den);
-
- ret = avfilter_graph_create_filter(&buffersrc_ctx, buffersrc, "in",
- args, NULL, filter_graph);
- if (ret < 0) {
- printf("Cannot create buffer source\n");
- return ret;
- }
-
-
- buffersink_params = av_buffersink_params_alloc();
- buffersink_params->pixel_fmts = pix_fmts;
- ret = avfilter_graph_create_filter(&buffersink_ctx, buffersink, "out",
- NULL, buffersink_params, filter_graph);
- av_free(buffersink_params);
- if (ret < 0) {
- printf("Cannot create buffer sink\n");
- return ret;
- }
-
-
- outputs->name = av_strdup("in");
- outputs->filter_ctx = buffersrc_ctx;
- outputs->pad_idx = 0;
- outputs->next = NULL;
-
- inputs->name = av_strdup("out");
- inputs->filter_ctx = buffersink_ctx;
- inputs->pad_idx = 0;
- inputs->next = NULL;
-
- if ((ret = avfilter_graph_parse_ptr(filter_graph, filters_descr,
- &inputs, &outputs, NULL)) < 0)
- return ret;
-
- if ((ret = avfilter_graph_config(filter_graph, NULL)) < 0)
- return ret;
- return 0;
- }
-
-
- int main(int argc, char* argv[])
- {
- int ret;
- AVPacket packet;
- AVFrame frame;
- int got_frame;
-
- avcodec_register_all();
- av_register_all();
- avfilter_register_all();
-
- if ((ret = open_input_file("cuc_ieschool.flv")) < 0)
- goto end;
- if ((ret = init_filters(filter_descr)) < 0)
- goto end;
- #if ENABLE_YUVFILE
- FILE *fp_yuv=fopen("test.yuv","wb+");
- #endif
- #if ENABLE_SDL
- SDL_Surface *screen;
- SDL_Overlay *bmp;
- SDL_Rect rect;
- if(SDL_Init(SDL_INIT_VIDEO | SDL_INIT_AUDIO | SDL_INIT_TIMER)) {
- printf( "Could not initialize SDL - %s\n", SDL_GetError());
- return -1;
- }
- screen = SDL_SetVideoMode(pCodecCtx->width, pCodecCtx->height, 0, 0);
- if(!screen) {
- printf("SDL: could not set video mode - exiting\n");
- return -1;
- }
- bmp = SDL_CreateYUVOverlay(pCodecCtx->width, pCodecCtx->height,SDL_YV12_OVERLAY, screen);
-
- SDL_WM_SetCaption("Simplest FFmpeg Video Filter",NULL);
- #endif
-
-
- while (1) {
- AVFilterBufferRef *picref;
- if ((ret = av_read_frame(pFormatCtx, &packet)) < 0)
- break;
-
- if (packet.stream_index == video_stream_index) {
- avcodec_get_frame_defaults(&frame);
- got_frame = 0;
- ret = avcodec_decode_video2(pCodecCtx, &frame, &got_frame, &packet);
- if (ret < 0) {
- printf( "Error decoding video\n");
- break;
- }
-
- if (got_frame) {
- frame.pts = av_frame_get_best_effort_timestamp(&frame);
-
-
- if (av_buffersrc_add_frame(buffersrc_ctx, &frame) < 0) {
- printf( "Error while feeding the filtergraph\n");
- break;
- }
-
-
- while (1) {
- ret = av_buffersink_get_buffer_ref(buffersink_ctx, &picref, 0);
- if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF)
- break;
- if (ret < 0)
- goto end;
-
- if (picref) {
- #if ENABLE_YUVFILE
- int y_size=picref->video->w*picref->video->h;
- fwrite(picref->data[0],1,y_size,fp_yuv);
- fwrite(picref->data[1],1,y_size/4,fp_yuv);
- fwrite(picref->data[2],1,y_size/4,fp_yuv);
- #endif
-
- #if ENABLE_SDL
- SDL_LockYUVOverlay(bmp);
- int y_size=picref->video->w*picref->video->h;
- memcpy(bmp->pixels[0],picref->data[0],y_size);
- memcpy(bmp->pixels[2],picref->data[1],y_size/4);
- memcpy(bmp->pixels[1],picref->data[2],y_size/4);
- bmp->pitches[0]=picref->linesize[0];
- bmp->pitches[2]=picref->linesize[1];
- bmp->pitches[1]=picref->linesize[2];
- SDL_UnlockYUVOverlay(bmp);
- rect.x = 0;
- rect.y = 0;
- rect.w = picref->video->w;
- rect.h = picref->video->h;
- SDL_DisplayYUVOverlay(bmp, &rect);
-
- SDL_Delay(40);
- #endif
- avfilter_unref_bufferp(&picref);
- }
- }
- }
- }
- av_free_packet(&packet);
- }
- #if ENABLE_YUVFILE
- fclose(fp_yuv);
- #endif
- end:
- avfilter_graph_free(&filter_graph);
- if (pCodecCtx)
- avcodec_close(pCodecCtx);
- avformat_close_input(&pFormatCtx);
-
- if (ret < 0 && ret != AVERROR_EOF) {
- char buf[1024];
- av_strerror(ret, buf, sizeof(buf));
- printf("Error occurred: %s\n", buf);
- return -1;
- }
-
- return 0;
- }
结果
程序的运行效果如图所示。
需要叠加的水印为一张PNG（透明）图片（在这里是my_logo.png）。
需要叠加的视频为一个普通的FLV格式的视频（在这里是cuc_ieschool.flv）。
程序运行的时候，会通过SDL显示水印叠加的结果，如图所示。此外，也可以将水印叠加后的解码数据输出成文件。
注：SDL显示和输出YUV可以通过程序最前面的宏控制：
- #define ENABLE_SDL 1
- #define ENABLE_YUVFILE 1
输出的YUV文件如图所示。
下载
simplest ffmpeg video filter
项目主页
SourceForge：https://sourceforge.net/projects/simplestffmpegvideofilter/
Github：https://github.com/leixiaohua1020/simplest_ffmpeg_video_filter
开源中国：http://git.oschina.net/leixiaohua1020/simplest_ffmpeg_video_filter
优快云下载地址：
http://download.youkuaiyun.com/detail/leixiaohua1020/7465861
[一个小错误]
注：由于失误，优快云上的项目少了一个SDL.dll文件，去SDL官网
http://www.libsdl.org/download-1.2.php
下载一个Runtime Libraries即可
PUDN下载地址（修复了SDL问题）：
http://www.pudn.com/downloads644/sourcecode/multimedia/detail2605264.html
SourceForge上已经修正该问题。
更新-1.2 (2015.2.13)=========================================
这次考虑到了跨平台的要求，调整了源代码。经过这次调整之后，源代码可以在以下平台编译通过：
VC++：打开sln文件即可编译，无需配置。
cl.exe：打开compile_cl.bat即可命令行下使用cl.exe进行编译，注意可能需要按照VC的安装路径调整脚本里面的参数。编译命令如下。
- ::VS2010 Environment
- call "D:\Program Files\Microsoft Visual Studio 10.0\VC\vcvarsall.bat"
- ::include
- @set INCLUDE=include;%INCLUDE%
- ::lib
- @set LIB=lib;%LIB%
- ::compile and link
- cl simplest_ffmpeg_video_filter.cpp /MD /link SDL.lib SDLmain.lib avcodec.lib ^
- avformat.lib avutil.lib avdevice.lib avfilter.lib postproc.lib swresample.lib swscale.lib ^
- /SUBSYSTEM:WINDOWS /OPT:NOREF
MinGW：MinGW命令行下运行compile_mingw.sh即可使用MinGW的g++进行编译。编译命令如下。
- g++ simplest_ffmpeg_video_filter.cpp -g -o simplest_ffmpeg_video_filter.exe \
- -I /usr/local/include -L /usr/local/lib \
- -lmingw32 -lSDLmain -lSDL -lavformat -lavcodec -lavutil -lavfilter -lswscale
GCC（Linux）：Linux命令行下运行compile_gcc.sh即可使用GCC进行编译。编译命令如下。
- gcc simplest_ffmpeg_video_filter.cpp -g -o simplest_ffmpeg_video_filter.out \
- -I /usr/local/include -L /usr/local/lib \
- -lSDLmain -lSDL -lavformat -lavcodec -lavutil -lavfilter -lswscale
GCC（Mac）：终端下运行compile_gcc_mac.sh即可使用GCC进行编译。编译命令如下。
- gcc simplest_ffmpeg_video_filter.cpp -g -o simplest_ffmpeg_video_filter.out \
- -framework Cocoa -I /usr/local/include -L /usr/local/lib \
- -lSDLmain -lSDL -lavformat -lavcodec -lavutil -lavfilter -lswscale
1212
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
