ffmpeg编程基础

FFmpeg编程基础
最新推荐文章于 2021-03-22 09:05:51 发布
最新推荐文章于 2021-03-22 09:05:51 发布
阅读量654 收藏
点赞数
分类专栏： android ffmpeg ubuntu

http://www.mikewootc.com/wiki/sw_develop/multimedia/ffmpeg_basic.html

ffmpeg编程基础

date: 2013.06.20

目录:

1 前言

当作者写此文的时候(2013.06.22), 对于网上搜到的一些ffmpeg的不错的教程都已经有些过时了, 其中的有些函数已经被去掉了. 所以此文诞生. 本文将会讲解ffmpeg的一些基本概念. 并通过一个简单的例程来介绍从本地文件读出视频流, 然后解码, 并且转存为PPM格式(一种类似BMP但更加简单的图片格式)图片的流程.

本文的重点是ffmpeg, 所以例程避免了复杂的图像显示编程.

2 ffmpeg简介

FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源程序。它包括了目前领先的音/视频编码库libavcodec。 FFmpeg是在Linux下开发出来的，但它可以在包括Windows在内的大多数操作系统中编译。这个项目是由Fabrice Bellard发起的，现在由Michael Niedermayer主持。可以轻易地实现多种视频格式之间的相互转换，例如可以将摄录下的视频avi等转成现在视频网站所采用的flv格式。

鉴于网上所说的ffmpeg版本更新较频繁而且兼容性不是很好, 所以建议找ffmpeg的资源还是从官网入手:

http://www.ffmpeg.org

3 基本概念解惑

4 简单的播放器例子

有可能您看到本文的时候, 本文也已经过时, 所以若想将例子编译通过并且能运行, 最好将ffmpeg的版本git checkout到与本文相同的分支(release-1.2). 先通过这种方法使程序能编能跑, 然后再根据您所需版本中的ffplay.c作为参考来修改代码.

如果您想了解更早的版本, 可以参考: ffmpeg tutorial. 但是这里面有些函数已经被删除了. 比如av_open_input_file()和img_convert().

4.1 ffmpeg基本解码流程

见下图:

ffmpeg解码流程

ffmpeg解码流程

4.2 下载ffmpeg源码

git clone git://source.ffmpeg.org/ffmpeg.git

4.3 取出本例的ffmpeg版本

git checkout remotes/origin/release/1.2

4.4 解码例程

本节分段描述各个流程的环节, 完整代码请见本文最后附录.

初始化:

初始化很简单, 就一句:

1
av_register_all()  // 注册了各种解码器, 复用/解复用, 网络协议等.

打开被解码媒体文件:

1
2
3
4
5
6
7
AVFormatContext *pFormatCtx = NULL;
 
pFormatCtx = avformat_alloc_context();
err = avformat_open_input(&pFormatCtx, filename, NULL, NULL);
if (err < 0) {
     return -1;
}

说明:

  • 其中的AVFormatContext相当于ffmpeg的一个总的管理结构体, 在其中管理着几个主要的信息(包括但不限于下列表):
    • 输入/输出文件的封装格式信息.
    • 音视频流信息.
    • 编解码(codec)信息. 该结构体及其中记录的信息几乎贯穿始终.

解析媒体文件中的流信息:

1
2
3
4
5
err = avformat_find_stream_info(pFormatCtx, NULL);
if (err < 0) {
     av_log(NULL, AV_LOG_WARNING, "could not find codec\n" );
     return -1;
}

解析流信息

1
2
3
4
5
err = avformat_find_stream_info(pFormatCtx, NULL);
if (err < 0) {
     av_log(NULL, AV_LOG_WARNING, "could not find codec\n" );
     return -1;
}

说明:

  • 该函数会把文件中的流信息解析出来, 它甚至会调用解码器去解码一些帧的数据, 从而获得全面的信息. 但是这个函数内部分配的解码器只是临时的, 对于外部不可用, 所以接下来还是需要自己来分配解码器的.

找到视频流并为其分配解码器

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
int videoStream;
AVCodecContext *pCodecCtx;
AVCodec *pCodec = NULL;
 
av_log(NULL, AV_LOG_INFO, "nb_streams in %s = %d\n" , filename, pFormatCtx->nb_streams);
videoStream = -1;
for (i = 0; i < pFormatCtx->nb_streams; i++) {
     if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO) {
         videoStream=i;
         av_log(NULL, AV_LOG_DEBUG, "video stream index = %d\n" , i,
                 pFormatCtx->streams[i]->codec->codec_type);
         break ;
     }
}
if (videoStream==-1) {
     av_log(NULL, AV_LOG_ERROR, "Haven't find video stream.\n" );
     return -1; // Didn't find a video stream
}
 
// Find decoder
pCodecCtx=pFormatCtx->streams[i]->codec;
pCodec = avcodec_find_decoder(pCodecCtx->codec_id);
if (!pCodec) {
     av_log(NULL, AV_LOG_ERROR, "%s: avcodec_find_decoder fails\n" , filename);
     return -1;
}

说明:

  • 本文只涉及到视频流的处理, 所以上面只分配了视频的解码器, 如果要编写播放器, 音频(以及字幕)解码器也是需要的, 原理类似.

打开解码器

1
2
3
4
5
// Open pCodec
if (avcodec_open(pCodecCtx, pCodec)<0) {
     av_log(NULL, AV_LOG_ERROR, "%s: avcodec_open fails\n" , filename);
     return -1; // Could not open codec
}

分配视频帧结构体与帧寸

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
AVFrame *pFrame;
AVFrame *pFrameRGB;
 
// Allocate video frame
pFrame=avcodec_alloc_frame();
     if (pFrame == NULL)
         return -1;
 
// Allocate an AVFrame structure
pFrameRGB = avcodec_alloc_frame();
if (pFrameRGB == NULL)
     return -1;
 
// Determine required buffer size and allocate buffer
numBytes = avpicture_get_size(PIX_FMT_RGB24, pCodecCtx->width, pCodecCtx->height);
buffer = (uint8_t *)av_malloc(numBytes * sizeof (uint8_t));
avpicture_fill((AVPicture *)pFrameRGB, buffer, PIX_FMT_RGB24,
         pCodecCtx->width, pCodecCtx->height);

说明:

  • 这里分配了两个视频帧结构体:
    • pFrame是用于解码器来解码用的帧结构体.
    • pFrameRGB是用于将解码后的YUV数据转换为RGB用的, 其实该结构体只是因为本例要将解码侯的YUV数据转成位图而使用的, 如果编写的是播放器, 并且显示器件可以直接接受YUV数据的话, 这个转换就是不需要的.

解码前5帧并转存为位图

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
struct SwsContext *pSwsCtx;
 
pSwsCtx = sws_getContext (pCodecCtx->width,
                           pCodecCtx->height,
                           pCodecCtx->pix_fmt,
                           pCodecCtx->width,
                           pCodecCtx->height,
                           PIX_FMT_RGB24,
                           SWS_BICUBIC,
                           NULL, NULL, NULL);
i=0;
while (av_read_frame(pFormatCtx, &packet) >= 0) {
     if (packet.stream_index == videoStream) { // Is this a packet from the video stream?
         avcodec_decode_video2(pCodecCtx,
                               pFrame,
                               &frameFinished,
                               &packet); // Decode video frame
 
         if (frameFinished) { // Did we get a video frame?
             av_log(NULL, AV_LOG_DEBUG, "Frame %d decoding finished.\n" , i);
             // Save the frame to disk
             if (i++ < 5) {
                 //转换图像格式，将解压出来的YUV的图像转换为BRG24的图像
                 sws_scale(pSwsCtx,
                           pFrame->data,
                           pFrame->linesize,
                           0,
                           pCodecCtx->height,
                           pFrameRGB->data,
                           pFrameRGB->linesize);
                 // 保存为PPM
                 SaveFrame(pFrameRGB, pCodecCtx->width, pCodecCtx->height, i);
             }
             else {
                 break ;
             }
         }
         else {
             av_log(NULL, AV_LOG_DEBUG, "Frame not finished.\n" );
         }
     }
 
     av_free_packet(&packet); // Free the packet that was allocated by av_read_frame
}
sws_freeContext (pSwsCtx);

说明:

  • sws是新增加的模块, 这里用于将YUV转为24位的RGB数据. 对于以前的版本, 使用的是img_convert(), 但是这个函数已经在新版本中被去掉了.
  • SaveFrame是为了保存为PPM文件的, 其定义详见附录(注意, 其中的文件路径可以需要根据你的环境修改).

5 参考资料

http://www.ffmpeg.org

ffmpeg tutorial

6 附: 例程完整代码

编译本代码的最简单的方法, 就是把原本的ffplay.c中的main给替换为本文的main, 这样省去了修改makefile的麻烦.

双击如下代码可以全选:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
static void SaveFrame(AVFrame *pFrame, int width, int height, int iFrame)
{
     FILE *pFile;
     char szFilename[255];
     int  y;
 
     // Open file
     memset (szFilename, 0, sizeof (szFilename));
     snprintf(szFilename, 255, "./bmptest/%03d.ppm" , iFrame);
     system ( "mkdir -p ./bmptest" );
     pFile= fopen (szFilename, "wb" );
     if (pFile==NULL)
         return ;
 
     // Write header
     fprintf (pFile, "P6\n%d %d\n255\n" , width, height);
 
     // Write pixel data
     for (y = 0; y < height; y++)
         fwrite (pFrame->data[0]+y*pFrame->linesize[0], 1, width*3, pFile);
 
     // Close file
     fclose (pFile);
}
 
 
int main( int argc, char **argv)
{
     AVFormatContext *pFormatCtx = NULL;
     int err, i;
     char *filename = "alan.mp4" ; // argv[1];
     AVCodec *pCodec = NULL;
     AVCodecContext *pCodecCtx;
     AVFrame *pFrame;
     AVFrame *pFrameRGB;
     uint8_t *buffer;
     int numBytes;
     int frameFinished;
     AVPacket packet;
     int videoStream;
     struct SwsContext *pSwsCtx;
 
     av_log_set_level(AV_LOG_DEBUG);
 
     av_log(NULL, AV_LOG_INFO, "Playing: %s\n" , filename);
 
     av_register_all();
 
     pFormatCtx = avformat_alloc_context();
//    pFormatCtx->interrupt_callback.callback = decode_interrupt_cb;
//    pFormatCtx->interrupt_callback.opaque = NULL;
     err = avformat_open_input(&pFormatCtx, filename, NULL, NULL);
     if (err < 0) {
         av_log(NULL, AV_LOG_ERROR, "open_input fails, ret = %d\n" , err);
         return -1;
     }
 
     err = avformat_find_stream_info(pFormatCtx, NULL);
     if (err < 0) {
         av_log(NULL, AV_LOG_WARNING, "could not find codec\n" );
         return -1;
     }
 
     av_dump_format(pFormatCtx, 0, filename, 0);
 
     av_log(NULL, AV_LOG_INFO, "nb_streams in %s = %d\n" , filename, pFormatCtx->nb_streams);
     videoStream = -1;
     for (i = 0; i < pFormatCtx->nb_streams; i++) {
         if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO) {
             videoStream=i;
             av_log(NULL, AV_LOG_DEBUG, "video stream index = %d\n" , i,
                     pFormatCtx->streams[i]->codec->codec_type);
             break ;
         }
     }
     if (videoStream==-1) {
         av_log(NULL, AV_LOG_ERROR, "Haven't find video stream.\n" );
         return -1; // Didn't find a video stream
     }
 
     // Find decoder
     pCodecCtx=pFormatCtx->streams[i]->codec;
     pCodec = avcodec_find_decoder(pCodecCtx->codec_id);
     if (!pCodec) {
         av_log(NULL, AV_LOG_ERROR, "%s: avcodec_find_decoder fails\n" , filename);
         return -1;
     }
 
     // Open pCodec
     if (avcodec_open(pCodecCtx, pCodec)<0) {
         av_log(NULL, AV_LOG_ERROR, "%s: avcodec_open fails\n" , filename);
         return -1; // Could not open codec
     }
 
     // Allocate video frame
     pFrame=avcodec_alloc_frame();
     if (pFrame == NULL)
         return -1;
 
     // Allocate an AVFrame structure
     pFrameRGB = avcodec_alloc_frame();
     if (pFrameRGB == NULL)
         return -1;
 
     // Determine required buffer size and allocate buffer
     numBytes = avpicture_get_size(PIX_FMT_RGB24, pCodecCtx->width, pCodecCtx->height);
     buffer = (uint8_t *)av_malloc(numBytes * sizeof (uint8_t));
     avpicture_fill((AVPicture *)pFrameRGB, buffer, PIX_FMT_RGB24,
             pCodecCtx->width, pCodecCtx->height);
 
     pSwsCtx = sws_getContext (pCodecCtx->width,
                               pCodecCtx->height,
                               pCodecCtx->pix_fmt,
                               pCodecCtx->width,
                               pCodecCtx->height,
                               PIX_FMT_RGB24,
                               SWS_BICUBIC,
                               NULL, NULL, NULL);
     i=0;
     while (av_read_frame(pFormatCtx, &packet) >= 0) {
         if (packet.stream_index == videoStream) { // Is this a packet from the video stream?
             avcodec_decode_video2(pCodecCtx,
                                   pFrame,
                                   &frameFinished,
                                   &packet); // Decode video frame
 
             if (frameFinished) { // Did we get a video frame?
                 av_log(NULL, AV_LOG_DEBUG, "Frame %d decoding finished.\n" , i);
                 // Save the frame to disk
                 if (i++ < 5) {
                     //转换图像格式，将解压出来的YUV的图像转换为BRG24的图像
                     sws_scale(pSwsCtx,
                               pFrame->data,
                               pFrame->linesize,
                               0,
                               pCodecCtx->height,
                               pFrameRGB->data,
                               pFrameRGB->linesize);
                     // 保存为PPM
                     SaveFrame(pFrameRGB, pCodecCtx->width, pCodecCtx->height, i);
                 }
                 else {
                     break ;
                 }
             }
             else {
                 av_log(NULL, AV_LOG_DEBUG, "Frame not finished.\n" );
             }
         }
 
         av_free_packet(&packet); // Free the packet that was allocated by av_read_frame
     }
     sws_freeContext (pSwsCtx);
 
     av_free (pFrame);
     av_free (pFrameRGB);
     av_free (buffer);
     avcodec_close (pCodecCtx);
     av_close_input_file (pFormatCtx);
}
Qt FFmpeg视频播放器开发（一）：FFmpeg简介与项目环境搭建
琅嬛福地
06-03 3万+
前言 在各大博客，论坛，看到很多人对流媒体音视频的开发感兴趣，可是不知道怎么入门，对音视频的了解也很少，写代码更不用说了，经过一段时间的整理，我准备在csdn上写一套ffmpeg音视频播放器的开发教程，希望对想从事ffmpeg音视频领域的同学给与帮助，有什么疑问可以在博客下留言，我会及时回复。希望看完的同学，对你们有所帮助。 视频开发库有很多，例如微软的Direct...
FFMpeg基础库编程开发
01-18
《ffmpeg基础库编程开发》482页 目录 第一章 多媒体概念介绍 6 第二章 FFmpeg框架 34 第三章 编译及简单应用 41 第四章 数据结构 57 第五章 重要模块 76 第六章 播放器 243 第七章 应用开发 275 第八章 关键函数介绍 280 第九章 ffmpeg相关工程 301 第十章 开发实例 436 第十一章 mp4文件封装协议分析 436 第十二章 flv 文件格式分析 457 附录A：常见问题 465 1 ffmpeg 从内存中读取数据 465 2 MFC中使用SDL播放音频没有声音的解决方法 465 附录B：经典代码示例 466 附录C：ffmpeg参数中文详细解释 477 附录D：ffplay的快捷键以及选项 479 附录E： ffmpeg处理rtmp流媒体 481
ffmpeg 基础库编程开发
12-03
FFmpeg有非常强大的功能包括视频采集功能、视频格式转换、视频抓图、给视频加水印等。文档带目录书签。
ffmpeg开发基础知识
一期一会
01-16 913
Table of Contents 基本概念 ffmpeg命令行规则 开发环境搭建 windows下ffmpeg开发 linux下ffmpeg开发 ffmpeg库的组成 ffmpeg编程特点 常用数据结构及解释 AVFormatContext：封装格式上下文 简单说明 常用的相关函数 AVCodecContext：编解码上下文 简单说明 常用的相关函数 AVCodec：编解码...
FFmpeg基础
枫竹梦
07-15 1251
FFmpeg基础FFmpeg是用于多媒体处理的开发软件库，基于GNU GPL发布。FF为Fast Forward的缩写，mpeg为Moving Pictures Experts Group的缩写。0x01 术语 容器(Container)，容器就是一种文件格式，比如flv，mkv等，包含流及文件头信息。 流(Stream)，是一种视频数据信息的传输方式，包含：音频，视频，字幕，附件，数据。 帧(Fr
QT5环境下的FFMPEG编程基础搭建教程
在开发视频处理或多媒体应用程序时，...通过以上步骤，可以完成在Qt5环境下搭建FFmpeg编程环境的基础工作。之后开发者就可以根据具体需求，开始使用FFmpeg库进行音视频的编解码、转码、流媒体传输等更高级的编程工作。
FFmpeg编程基础教程 - 2018深入开发指南
以下是一个简单的FFmpeg编程示例，用于展示如何打开一个音视频文件并读取其基本信息： ```c #include #include int main(int argc, char *argv[]) { AVFormatContext *pFormatCtx = NULL; int i, videoIndex; ...
ffmpeg基础库编程开发.rar_FFmpeg编程pdf_ffmpeg_ffmpeg pdf_ffmpeg pdf_ffmp
07-14
ffmpeg基础库编程开发 pdf，ffmpeg 命令行介绍
ffmpeg基础库编程开发
06-09
FFmpeg 是一个强大的开源...总的来说，FFmpeg 基础库编程开发涉及到音视频的处理流程，包括编码、解码、过滤和封装，以及相应的 API 使用方法。深入理解和熟练运用 FFmpeg 可以帮助开发者构建高效、灵活的多媒体应用。
FFmpeg基础编程-学习笔记(十二)
微末观星
09-13 511
首语：学习三步：是什么？怎么用？为什么？ 一、概念 1、FFmpeg： (1)FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。它包括了目前领先的音/视频编码库libavcodec。 (2)FFmpeg是领先的多媒体框架，提供音视频的编解码播放等功能，支持几乎所有音视频格式。含有多个模块库，如AVFormate,AVCodec,AVFilter,AVDivic...
ffmpeg完整工程简单易懂
10-24
这个项目很简单，适合新手，能播放来自VLC服务器的RTSP,个人资源内也有VLC服务器的搭建过程。可以去下载，应该一天内就能了解大概编程流程了
从压缩包文件读取指定文件内容
github_38641765的博客
04-06 3956
一些配置：VC++目录-&gt;包含目录&amp;&amp;库目录 ：添加F:\zlib-1.2.11\contrib\minizip（因为用到了zlib库的unzip的文件）链接器-&gt;输入：添加zlibwapi.lib链接器-&gt;常规-&gt;附加库目录：添加F:\zlib-1.2.11\contrib\vstudio\vc11\x64\ZlibDllDebug\（这是我存放zlib的...
FFmpeg入门
努力努力再努力L
03-22 1206
FFmpeg入门 播放器框架 常见音视频概念 ffmpeg库简介 ffmpeg函数简介 ffmpeg注册方式 ffmpeg数据结构简介 ffmpeg常用结构体简介 1. 播放器框架 播放器框架图，用到的api和结构体后面介绍。 2. 常见音视频概念 1. 常用音视频术语 容器／文件（Conainer/File）： 即特定格式的多媒体文件，比如mp4、 flv、 mkv等。 媒体流（Stream）： 表示时间轴上的一段连续数据，如一段声音数据、一段视频数据或一段字幕数据，可以是压缩的，也可以是
FFMPEG零基础入门
Don't worry,be happy
09-29 3万+
转自大神雷霄骅博客：https://blog.youkuaiyun.com/leixiaohua1020/article/details/15811977 在优快云上的这一段日子，接触到了很多同行业的人，尤其是使用FFMPEG进行视音频编解码的人，有的已经是有多年经验的“大神”，有的是刚开始学习的初学者。在和大家探讨的过程中，我忽然发现了一个问题：在“大神”和初学者之间好像有一个不可逾越的鸿沟。“大神”们...
视频播放器原理
Ohh的专栏
03-02 683
视音频技术主要包含以下几点：封装技术，视频压缩编码技术以及音频压缩编码技术。如果考虑到网络传输的话，还包括流媒体协议技术。 视频播放器播放网上的视频文件，需要经过以下几个步骤：解协议，解封装，解码视音频，视音频同步。如果播放本地文件则不需要解协议，为以下几个步骤：解封装，解码视音频，视音频同步。过程如图所示。 解协议的作用，就是将流媒体协议的数据，解析为标准的相应的封装格式数据
[总结]FFMPEG视音频编解码零基础学习方法
热门推荐
雷霄骅(leixiaohua1020)的专栏
11-16 104万+
在优快云上的这一段日子，接触到了很多同行业的人，尤其是使用FFMPEG进行视音频编解码的人，有的已经是有多年经验的“大神”，有的是刚开始学习的初学者。在和大家探讨的过程中，我忽然发现了一个问题：在“大神”和初学者之间好像有一个不可逾越的鸿沟。“大神”们水平高超，探讨着深奥的问题；而初学者们还停留在入门阶段。究竟是什么原因造成的这种“两极分化”呢？最后，我发现了问题的关键：FFMPEG难度比较大，却没有一个循序渐进，由简单到复杂的教程...
FFmpeg学习教程
AI吃大瓜的博客
03-09 4万+
一、FFmpeg库介绍 FFmpeg一共包含8个库： avcodec：编解码（最重要的库）。 avformat：封装格式处理。 avfilter：滤镜特效处理。 avdevice：各种设备的输入输出。 avutil：工具库（大部分库都需要这个库的支持）。 postproc：后加工。 swresample：音频采样数据格式转换。 swscale：视频像素数据格式转换 FFmp...
ffmpeg编程基础和一些常见问题的解答
oba没有马
04-07 3218
ffmpeg编程基础
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值