FFmpeg进阶: 音视频常用开源库_音频视频第三方库-优快云博客

本文链接：https://blog.youkuaiyun.com/yang1fei2/article/details/129966544

本文深入探讨了多媒体处理的开源库，包括FFmpeg的封装、编解码、滤镜和转换模块，以及Gstreamer和libav。在流媒体传输部分，分析了WebRTC和Live555的特性。开源播放器ijkplayer、exoplayer和vlc的介绍，展示了它们在不同平台的优势。此外，文章还涵盖了音频处理库speex和sox，以及流媒体服务器SRS和Janus的功能和应用场景。最后，讨论了视频渲染库GPUImage、Grafika和LearnOpenGL在图形处理和OpenGL学习方面的价值。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

- 多媒体处理
- - FFmpeg
  - Gstreamer
  - libav
- 流媒体传输
- - WebRTC
  - Live555
- 开源播放器
- - ijkplayer
  - exoplayer
  - vlc
- 编解码
- - av1
  - vp8、vp9
  - aac、opus
- 音频处理
- - speex
  - sox
  - soundtouch
- 流媒体服务器
- - SRS
  - Janus
- 视频渲染

在音视频应用开发过程中我们会用到各种各样的开源库来提升开发效率，这里对各种常用的开源库进行了汇总，方便大家参考使用。

多媒体处理

FFmpeg

FFmpeg是一个开源的音视频处理库和工具集，可以进行音视频编码、解码、转码、剪辑等操作，支持众多音视频格式和协议。各个模块:
封装模块AVFormat
AVFormat中实现了目前多媒体领域中的绝大多数媒体封装格式，包括封装和解封装，如MP4、FLV、KV、TS等文件封装格式，RTMP、RTSP、MMS、HLS等网络协议封装格式。

编解码模块AVCodec
AVCodec中实现了目前多媒体领域绝大多数常用的编解码格式，既支持编码，也支持解码。AVCodec除了支持MPEG4、AAC、MJPEG等自带的媒体编解码格式之外，还支持第三方的编解码器，如H.264（AVC）编码，需要使用x264编码器;H.265（HEVC）编码，需要使用x265编码器；MP3（mp3lame）编码，需要使用libmp3lame编码器。

滤镜模块AVFilter
AVFilter库提供了一个通用的音频、视频、字幕等滤镜处理框架。在AVFilter中，滤镜框架可以有多个输入和多个输出。

视频图像转换计算模块swscale
swscale模块提供了高级别的图像转换API，例如它允许进行图像缩放和像素格式转换，常见于将图像从1080p转换成720p或者480p等的缩放，或者将图像数据从YUV420P转换成YUYV，或者YUV转RGB等图像格式转换。

音频转换计算模块swresample