FFmpeg的8个常用库:
库 名 | 功 能 |
AVUtil | 核心工具库,下面的许多其他模块都会依赖该库做一些基本的音 视频处理操作。 |
AVFormat | 文件格式和协议库,该模块是最重要的模块之一,封装了Protocol层和Demuxer、Muxer层,使得协议和格式对于开发者来说是透明的。 |
AVCodec | 编解码库,封装了Codec层,但是有一些Codec是具备自己的License的,FFmpeg是不会默认添加像libx264、FDK-AAC等库的,但是FFmpeg就像一个平台一样,可以将其他的第三方的Codec以插件的方式添加进来,然后为开发者提供统一的接口。 |
AVFilter | 音视频滤镜库,该模块提供了包括音频特效和视频特效的处理,在使用FFmpeg的API进行编解码的过程中,直接使用该模块为音视频数据做特效处理是非常方便同时也非常高效的一种方式。 |
AVDevice | 输入输出设备库,比如,需要编译出播放声音或者视频的工具ffplay,就需要确保该模块是打开的,同时也需要SDL的预先编译,因为该设备模块播放声音与播放视频使用的都是SDL库。 |
SwrRessample | 音频重采样模块,可以对数字音频进行声道数、数据格式、采样率等多种基本信息的转换。 |
SWScale | 图像格式转换模块,比如,可以将YUV的数据转换为RGB的数据,缩放尺寸由1280* 720变为800 *480。 |
PostProc | 后期处理,当我们使用AVFilter的时候需要打开该模块的开关,因为Filter中会使用到该模块的一些基础函数。 |
(一)ffmpeg初始化和注册相关的函数
avdevice_register_all() | 对设备进行注册,如果我们要捕捉屏幕进行录制屏幕,捕捉摄像头进行录制视频,捕捉麦克风录制麦克风声音时,就需要使用到该函数,首先进行注册。例如(windows下的dshow,Linux下的V4L2等); |
avformat_network_init() | avformat_network_init():初始化网络库以及网络加密协议相关的库,我们在推流或者拉流时就会使用到。 |
(二)ffmpeg封装格式相关的库函数函数
函数原型 | 说 明 |
avformat_alloc_context() | 申请一个AVFormatContext上下文结构体的内存,并进行简单的初始化,以提供给其他函数使用; |
avformat_free_context() | 释放不使用的AVFormatContext; |
avformat_close_input() | 关闭解复用器。如果使用该函数进行关闭的话,就可以不使用avformat_free_context()进行释放; |
avformat_open_input() | 打开输入视频文件; |
avformat_find_stream_info() | 获取视频文件信息; |
av_read_frame() | 读取音视频包; |
avformat_seek_file() | 根据时间戳定位文件的位置;例如我们托方播放器的进度条进行快近和快退时,就可以使用此函数进行定位播放; |
av_seek_frame() | 根据流的大小定位文件的位置; |
封装格式步骤:
1、分配解复用器上下文(avformat_alloc_context());
2、根据url打开本地文件或网络流(avformat_open_input());
3、读取媒体的数据包,查找流信息(avformat_find_stream_info());
4、遍历数据
4.1从文件中读取数据包(av_read_frame());
4.2或者 定位文件位置进行遍历(avformat_seek_file()、av_seek_frame());
5、关闭解复用器(avformat_close_input())或释放不使用的资源;
(三)解码相关函数
函数原型 | 说 明 |
avcodec_find_decoder() | 根据ID查找解码器 |
avcodec_alloc_context3() | 分配解码器上下文 |
avcodec_find_decoder_by_name() | 根据解码器名字查找解码器 |
avcodec_open2() | 打开编解码器 |
avcodec_decode_video2() | 解码一帧视频数据 |
avcodec_decode_audio4() | 解码一帧音频数据 |
avcodec_send_packet() | 发送编码数据包 |
avcodec_receive_frame() | 接受解码后的数据 |
avcodec_free_context() | 释放解码器上下文,此函数包含了avcodec_close() |
avcodec_close() | 关闭解码器 |
(四)FFmpeg数据结构之间的关系
1、AVPacket常用API
函数原型 | 说 明 |
AVPacket *av_packet_alloc(void) | 分配 AVPacket 这个时候和buffer没有关系 |
void av_packet_free(AVPacket **pkt) | 释放AVPacket |
void av_init_packet(AVPacket *pkt) | 初始化AVPacket 只是单纯初始化pkt字段 |
int av_new_packet(AVPacket *pkt, int size) | 给AVPacket的buf分配内存,引用计数初始化为1 |
int av_packet_ref(AVPacket *dst, const AVPacket *src) | 增加引用计数 |
void av_packet_unref(AVPacket *pkt) | 减少引用计数 |
void av_packet_move_ref(AVPacket *dst, AVPacket *src) | 转移引用计数 |
AVPacket *av_packet_clone(const AVPacket *src) | 相当于深拷贝一份AVPacket数据 |
2、AVFrame常用API
函数原型 | 说 明 |
AVFrame *av_frame_alloc(void) | 分配AVFrame |
void av_frame_free(AVFrame **frame) | 释放AVFrame |
int av_frame_ref(AVFrame *dst, const AVFrame *src) | 增加引用计数 |
void av_frame_unref(AVFrame *frame) | 减少引用计数 |
void av_frame_move_ref(AVFrame *dst, AVFrame *src) | 转移引用计数 |
int av_frame_get_buffer(AVFrame *frame, int align) | 根据AVFrame分配内存AVFrame |
AVFrame *av_frame_clone(const AVFrame *src) | 相当于深拷贝一份AVFrame数据 |