FFmpeg与wlmedia视频渲染集成指南-优快云博客

FFmpeg与wlmedia视频渲染集成指南

在使用FFmpeg开发并结合国产SDK wlmedia 渲染视频时，需将FFmpeg解码后的视频帧转换为wlmedia支持的格式并渲染。以下是关键步骤和代码示例：

核心流程

初始化FFmpeg：打开媒体文件，定位视频流，准备解码器。
初始化wlmedia渲染器：创建视频渲染组件，配置参数（如分辨率、像素格式）。
循环解码与渲染：
- 用FFmpeg解码视频帧（AVFrame）。
- 转换像素格式（如YUV420P → NV12，因wlmedia常用硬件友好格式）。
- 将帧数据送入wlmedia渲染器。

关键代码示例

#include <libavformat/avformat.h>
#include <libswscale/swscale.h>
#include "wlmedia_player.h" // wlmedia SDK头文件

int main() {
    // 1. FFmpeg初始化
    AVFormatContext *fmt_ctx = NULL;
    avformat_open_input(&fmt_ctx, "input.mp4", NULL, NULL);
    avformat_find_stream_info(fmt_ctx, NULL);
    
    // 定位视频流索引
    int video_stream_idx = av_find_best_stream(fmt_ctx, AVMEDIA_TYPE_VIDEO, -1, -1, NULL, 0);
    AVCodecParameters *codec_params = fmt_ctx->streams[video_stream_idx]->codecpar;
    
    // 初始化解码器
    const AVCodec *codec = avcodec_find_decoder(codec_params->codec_id);
    AVCodecContext *codec_ctx = avcodec_alloc_context3(codec);
    avcodec_parameters_to_context(codec_ctx, codec_params);
    avcodec_open2(codec_ctx, codec, NULL);

    // 2. 初始化wlmedia渲染器
    wlmedia_VideoRenderer *renderer = wlmedia_create_video_renderer();
    wlmedia_video_format format = {
        .width = codec_ctx->width,
        .height = codec_ctx->height,
        .pix_fmt = WL_PIX_FMT_NV12, // 假设wlmedia要求NV12格式
    };
    wlmedia_set_video_format(renderer, &format);

    // 3. 准备转换器（FFmpeg YUV420P → wlmedia NV12）
    struct SwsContext *sws_ctx = sws_getContext(
        codec_ctx->width, codec_ctx->height, codec_ctx->pix_fmt,
        codec_ctx->width, codec_ctx->height, AV_PIX_FMT_NV12,
        SWS_BILINEAR, NULL, NULL, NULL
    );

    // 4. 解码循环
    AVPacket *pkt = av_packet_alloc();
    AVFrame *frame = av_frame_alloc();
    while (av_read_frame(fmt_ctx, pkt) >= 0) {
        if (pkt->stream_index != video_stream_idx) continue;
        
        // 发送到解码器
        avcodec_send_packet(codec_ctx, pkt);
        while (avcodec_receive_frame(codec_ctx, frame) == 0) {
            // 转换为目标格式（NV12）
            AVFrame *nv12_frame = av_frame_alloc();
            nv12_frame->format = AV_PIX_FMT_NV12;
            nv12_frame->width = frame->width;
            nv12_frame->height = frame->height;
            av_frame_get_buffer(nv12_frame, 0);
            
            sws_scale(sws_ctx, 
                      (const uint8_t *const *)frame->data, frame->linesize,
                      0, frame->height,
                      nv12_frame->data, nv12_frame->linesize);

            // 5. 渲染到wlmedia
            wlmedia_video_frame wl_frame = {
                .data = nv12_frame->data,
                .linesize = nv12_frame->linesize,
                .pts = frame->pts // 传递时间戳
            };
            wlmedia_push_video_frame(renderer, &wl_frame);

            av_frame_free(&nv12_frame);
        }
        av_packet_unref(pkt);
    }

    // 清理资源
    sws_freeContext(sws_ctx);
    av_frame_free(&frame);
    av_packet_free(&pkt);
    avcodec_free_context(&codec_ctx);
    avformat_close_input(&fmt_ctx);
    wlmedia_destroy_video_renderer(renderer);
    return 0;
}

关键注意事项

像素格式对齐：
- 确认wlmedia所需的像素格式（如NV12、RGB24），通过SwsContext转换。
- 避免直接使用AV_PIX_FMT_YUV420P（多数硬件加速SDK更倾向NV12）。
内存管理：
- 转换后的帧（如nv12_frame）需手动分配/释放（av_frame_alloc()/av_frame_free()）。
- 确保wlmedia_push_video_frame()内部不持有数据指针（否则需深拷贝数据）。
时间戳同步：
- 传递正确的pts给wlmedia，用于音视频同步。
- 若wlmedia要求时间基转换，需计算：wl_pts = frame->pts * av_q2d(stream->time_base)。
硬件加速：
- 若wlmedia支持硬件渲染（如OpenGL/Vulkan），优先使用FFmpeg的硬件解码（如AV_PIX_FMT_CUDA）。
- 通过wlmedia的纹理接口（如wlmedia_set_texture()）直接传递GPU数据，避免CPU拷贝。

扩展优化

零拷贝渲染：
若wlmedia支持，可将FFmpeg解码的GPU数据（如VAAPI、CUDA表面）直接映射到wlmedia纹理。
```
// 伪代码：传递GPU句柄
wlmedia_set_external_texture(renderer, cuda_texture_id, width, height);
```
异步解码：
分离解码线程和渲染线程，通过队列传递帧数据（使用互斥锁/条件变量）。
错误处理：
检查所有FFmpeg和wlmedia API的返回值，确保资源正确释放。

wlmedia集成要点

查阅SDK文档：
确认关键函数如：
- wlmedia_create_video_renderer()
- wlmedia_set_video_format()
- wlmedia_push_video_frame()
渲染窗口绑定：
若需显示到窗口，调用类似wlmedia_bind_renderer_to_window(renderer, window_handle)的API。
性能调优：
使用wlmedia的性能分析接口监控渲染延迟，调整缓冲策略。