FFmpeg中与视频解码相关知识简介

1、引言

FFmpeg是一个非常流行的开源跨平台多媒体解决方案。它可以用于编码、解码、转换和流处理各种音频和视频格式。本文将介绍FFmpeg中与视频解码相关的知识。

2、视频解码器

FFmpeg的视频解码器支持多种视频编码格式，包括H.264、MPEG-4、AVC、VP9等等。

2.1 FFmpeg视频解码器

FFmpeg视频解码器可以使用avcodec_find_decoder()函数进行查找，例如：

AVCodec *codec = avcodec_find_decoder(AV_CODEC_ID_H264);
if (!codec) {
    fprintf(stderr, "无法找到解码器\n");
    return -1;
}

上述代码使用AV_CODEC_ID_H264参数查找H.264解码器。如果找不到指定的解码器，会返回NULL。

2.2 解码视频数据包

在视频解码过程中，需要读取视频数据流，并将其分解成多个压缩帧，然后将每个压缩帧解码为原始视频帧。可以使用av_read_frame()函数读取视频数据流，例如：

AVPacket packet;
​
while (av_read_frame(pFormatCtx, &packet) >= 0) {
​
    // 如果是视频流
    if (packet.stream_index == videoStreamIndex) {
​
        // 发送数据包给解码器
        if (avcodec_send_packet(pCodecCtx, &packet) != 0) {
            fprintf(stderr, "无法向解码器发送数据包\n");
            break;
        }
​
        // 解码帧数据
        while (avcodec_receive_frame(pCodecCtx, pFrame) == 0) {
            // 处理解码后的视频帧
            // ...
        }
    }
​
    av_packet_unref(&packet);
}

上述代码使用av_read_frame()函数读取视频数据流中的每个数据包，然后判断是否为视频流。如果是视频流，则使用avcodec_send_packet()将数据包发送给解码器进行解码，然后使用avcodec_receive_frame()函数接收解码后的视频帧。

2.3 视频帧格式转换

在解码过程中，可以选择将视频帧解码为不同的格式。可以使用SwsContext结构体和sws_scale()函数将视频帧转换为所需的输出格式。例如：

struct SwsContext *pSwsContext = sws_getContext(
    pCodecCtx->width, pCodecCtx->height, pCodecCtx->pix_fmt,
    output_width, output_height, AV_PIX_FMT_RGB24,
    SWS_BILINEAR, NULL, NULL, NULL);
​
sws_scale(pSwsContext, pFrame->data, pFrame->linesize, 0, pCodecCtx->height, &buffer, NULL);

上述代码创建了一个转换上下文，并使用sws_scale()函数将源视频帧转换为RGB格式，存储在缓冲区中。

2.4 清理资源

在完成视频解码后，需要清理使用过的资源，以避免内存泄漏。可以使用av_free()、av_frame_free()、avcodec_close()等函数来释放相应的资源。例如：

av_free(buffer);
av_frame_free(&pFrame);
avcodec_close(pCodecCtx);
avformat_close_input(&pFormatCtx);

以上是一些基本的FFmpeg视频解码器相关知识及代码示例，具体实现可能会因应用场景不同而有所变化。

3、解码音频和视频

FFmpeg可以同时解码音频和视频。解码音频和视频可以使用不同的函数，例如avcodec_decode_audio4()和avcodec_decode_video2()函数。

解码音频和视频是FFmpeg的基本功能之一

3.1 解码音频

要解码音频，需要打开音频文件，获取音频流并解码。

以下是解码音频的代码示例：

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <stdint.h>
​
#include <libavcodec/avcodec.h>
#include <libavformat/avformat.h>
#include <libavutil/audio_fifo.h>
#include <libavutil/frame.h>
​
int main(int argc, char** argv) {
    // 打开输入音频文件
    AVFormatContext* format_ctx = NULL;
    if (avformat_open_input(&format_ctx, "input.mp3", NULL, NULL) != 0) {
        fprintf(stderr, "Failed to open input file\n");
        return -1;
    }
​
    // 获取音频流信息
    if (avformat_find_stream_info(format_ctx, NULL) < 0) {
        fprintf(stderr, "Failed to find stream information\n");
        avformat_close_input(&format_ctx);
        return -1;
    }
​
    // 查找第一个音频流
    int audio_stream_idx = -1;
    for (int i = 0; i < format_ctx->nb_streams; i++) {
        if (format_ctx->streams[i]->codecpar->codec_type == AVMEDIA_TYPE_AUDIO) {
            audio_stream_idx = i;
            break;
        }
    }
    if (audio_stream_idx == -1) {
        fprintf(stderr, "No audio stream found\n");
        avformat_close_input(&format_ctx);
        return -1;
    }
​
    // 获取音频解码器
    AVCodec* codec = avcodec_find_decoder(format_ctx->streams[audio_stream_idx]->codecpar->codec_id);
    if (codec == NULL) {
        fprintf(stderr, "Unsupported codec\n");
        avformat_close_input(&format_ctx);
        return -1;
    }
​
    // 打开音频解码器
    AVCodecContext* codec_ctx = avcodec_alloc_context3(codec);
    if (avcodec_parameters_to_context(codec_ctx, format_ctx->streams[audio_stream_idx]->codec