ffmpeg-python新手指南：5分钟上手视频处理编程
项目地址: https://gitcode.com/gh_mirrors/ff/ffmpeg-python 你还在为视频剪辑软件的复杂操作烦恼吗？还在为命令行工具的晦涩语法头疼吗？本文将带你5分钟入门ffmpeg-python，用Python代码轻松实现视频剪辑、格式转换、添加水印等常见需求。读完本文，你将能够：
- 安装并配置ffmpeg-python环境
- 编写简单的视频处理脚本
- 掌握常见视频编辑功能的实现方法
- 了解如何查看和使用官方示例代码
什么是ffmpeg-python
ffmpeg-python是一个Python绑定库，它允许开发者使用Python代码来调用FFmpeg的功能，实现复杂的视频和音频处理。与直接使用FFmpeg命令行相比，ffmpeg-python提供了更直观、更易读的API，让视频处理变得像搭积木一样简单。
FFmpeg是一个强大的开源多媒体处理工具，但它的命令行接口非常复杂。例如，要实现视频裁剪、拼接和添加水印，需要编写如下冗长的命令：
ffmpeg -i input.mp4 -i overlay.png -filter_complex "[0]trim=start_frame=10:end_frame=20[v0];[0]trim=start_frame=30:end_frame=40[v1];[v0][v1]concat=n=2[v2];[1]hflip[v3];[v2][v3]overlay=eof_action=repeat[v4];[v4]drawbox=50:50:120:120:red:t=5[v5]" -map [v5] output.mp4
而使用ffmpeg-python，同样的功能可以用简洁易懂的Python代码实现：
import ffmpeg
in_file = ffmpeg.input('input.mp4')
overlay_file = ffmpeg.input('overlay.png')
(
ffmpeg
.concat(
in_file.trim(start_frame=10, end_frame=20),
in_file.trim(start_frame=30, end_frame=40),
)
.overlay(overlay_file.hflip())
.drawbox(50, 50, 120, 120, color='red', thickness=5)
.output('out.mp4')
.run()
)
安装与环境配置
安装ffmpeg-python
ffmpeg-python可以通过pip轻松安装：
pip install ffmpeg-python
如果你需要从源码安装，可以克隆项目仓库并执行安装命令：
git clone https://gitcode.com/gh_mirrors/ff/ffmpeg-python.git
cd ffmpeg-python
pip install -e .
安装FFmpeg
ffmpeg-python只是一个包装库，实际的视频处理功能需要依赖FFmpeg程序。在使用ffmpeg-python之前，你需要先安装FFmpeg：
- Windows: 从FFmpeg官网下载可执行文件，并添加到系统PATH
- macOS: 使用Homebrew安装：
brew install ffmpeg - Linux: 使用系统包管理器安装，如
apt install ffmpeg
安装完成后，可以在命令行输入ffmpeg验证是否安装成功。如果显示FFmpeg版本信息，则说明安装成功：
ffmpeg version 4.2.4-1ubuntu0.1 Copyright (c) 2000-2020 the FFmpeg developers
built with gcc 9 (Ubuntu 9.3.0-10ubuntu2)
快速入门：第一个视频处理程序
让我们从一个简单的例子开始：水平翻转视频。下面的代码将读取名为input.mp4的视频文件，水平翻转每一帧，然后保存为output.mp4：
import ffmpeg
# 输入视频文件
stream = ffmpeg.input('input.mp4')
# 水平翻转视频
stream = ffmpeg.hflip(stream)
# 输出到文件
stream = ffmpeg.output(stream, 'output.mp4')
# 执行处理
ffmpeg.run(stream)
ffmpeg-python还支持链式调用，使代码更加简洁：
import ffmpeg
(
ffmpeg
.input('input.mp4')
.hflip()
.output('output.mp4')
.run()
)
运行这段代码后，你将在当前目录下看到生成的output.mp4文件，其中的视频内容已经被水平翻转。
常用功能示例
获取视频信息
在处理视频之前，我们通常需要了解视频的基本信息，如分辨率、时长、编码格式等。ffmpeg-python提供了probe()函数来获取这些信息：
import ffmpeg
# 获取视频信息
probe = ffmpeg.probe('input.mp4')
# 查找视频流
video_stream = next((stream for stream in probe['streams'] if stream['codec_type'] == 'video'), None)
# 提取分辨率信息
width = int(video_stream['width'])
height = int(video_stream['height'])
print(f"视频分辨率: {width}x{height}")
完整的示例代码可以查看video_info.py。
生成视频缩略图
生成视频缩略图是一个常见需求，下面的代码将从视频的第10秒处截取一帧，并保存为图片：
import ffmpeg
def generate_thumbnail(in_filename, out_filename, time=10):
(
ffmpeg
.input(in_filename, ss=time) # ss参数指定截取时间点
.filter('scale', 640, -1) # 缩放至宽度640，高度按比例调整
.output(out_filename, vframes=1) # vframes=1表示只输出一帧
.run(overwrite_output=True) # 覆盖已存在的文件
)
generate_thumbnail('input.mp4', 'thumbnail.jpg', time=10)
这个例子展示了ffmpeg-python的过滤器使用方法。filter()函数可以添加各种视频过滤器，这里使用了scale过滤器来调整图片大小。完整的示例代码可以查看get_video_thumbnail.py。
视频转numpy数组
ffmpeg-python可以将视频数据直接输出为numpy数组，方便进行后续的图像处理或机器学习任务：
import ffmpeg
import numpy as np
def video_to_numpy(in_filename):
# 获取视频分辨率
probe = ffmpeg.probe(in_filename)
video_stream = next((stream for stream in probe['streams'] if stream['codec_type'] == 'video'), None)
width = int(video_stream['width'])
height = int(video_stream['height'])
# 读取视频数据并转换为numpy数组
out, _ = (
ffmpeg
.input(in_filename)
.output('pipe:', format='rawvideo', pix_fmt='rgb24')
.run(capture_stdout=True)
)
video = (
np
.frombuffer(out, np.uint8)
.reshape([-1, height, width, 3])
)
return video
video_array = video_to_numpy('input.mp4')
print(f"视频数组形状: {video_array.shape}") # (帧数, 高度, 宽度, 3)
这个例子中，我们使用format='rawvideo'参数让FFmpeg输出原始视频数据，然后通过numpy.frombuffer()将二进制数据转换为数组。完整的示例代码和Jupyter演示可以查看ffmpeg-numpy.ipynb。
音视频混合处理
ffmpeg-python可以同时处理音频和视频流，并将它们混合输出。下面的例子展示了如何处理两个视频文件的音视频流，然后将它们合并：
import ffmpeg
# 输入两个视频文件
in1 = ffmpeg.input('in1.mp4')
in2 = ffmpeg.input('in2.mp4')
# 处理视频流
v1 = in1.video.hflip() # 水平翻转视频
v2 = in2.video.filter('reverse').filter('hue', s=0) # 反转视频并去色
# 处理音频流
a1 = in1.audio
a2 = in2.audio.filter('areverse').filter('aphaser') # 反转音频并添加相位效果
# 合并音视频流
joined = ffmpeg.concat(v1, a1, v2, a2, v=1, a=1).node
v3 = joined[0]
a3 = joined[1].filter('volume', 0.8) # 调整音量
# 输出结果
(
ffmpeg.output(v3, a3, 'output.mp4')
.run(overwrite_output=True)
)
这个例子展示了ffmpeg-python处理复杂音视频流的能力。我们可以分别处理视频和音频流，然后使用concat过滤器将它们合并。完整的示例代码可以查看examples/README.md中的"Audio/video pipeline"部分。
Jupyter交互式视频编辑
ffmpeg-python可以与Jupyter Notebook/Lab无缝集成，实现交互式视频编辑。通过结合ffmpeg-python和IPython的交互功能，你可以实时预览视频处理效果：
Jupyter环境允许你逐步构建视频处理 pipeline，并即时查看每一步的效果。这种交互式工作流特别适合视频处理算法的开发和调试。完整的Jupyter演示可以查看ffmpeg-numpy.ipynb。
高级技巧
使用管道进行流处理
ffmpeg-python支持异步运行模式，可以通过管道实时处理视频流。这对于处理大型视频文件或实时流非常有用：
import ffmpeg
import numpy as np
def process_video_stream(in_filename, out_filename, width, height):
# 启动FFmpeg进程读取视频
process1 = (
ffmpeg
.input(in_filename)
.output('pipe:', format='rawvideo', pix_fmt='rgb24')
.run_async(pipe_stdout=True)
)
# 启动FFmpeg进程写入视频
process2 = (
ffmpeg
.input('pipe:', format='rawvideo', pix_fmt='rgb24', s=f'{width}x{height}')
.output(out_filename, pix_fmt='yuv420p')
.overwrite_output()
.run_async(pipe_stdin=True)
)
# 逐帧处理视频
while True:
# 读取一帧数据
in_bytes = process1.stdout.read(width * height * 3)
if not in_bytes:
break # 读取完毕
# 将字节转换为numpy数组
in_frame = np.frombuffer(in_bytes, np.uint8).reshape([height, width, 3])
# 这里可以添加自定义的图像处理逻辑
out_frame = in_frame # 示例：直接传递，不做处理
# 写入处理后的帧
process2.stdin.write(out_frame.astype(np.uint8).tobytes())
# 清理资源
process2.stdin.close()
process1.wait()
process2.wait()
这种方法可以处理无法全部加载到内存中的大型视频文件，也可以用于实时视频流处理。
TensorFlow视频流处理
ffmpeg-python可以与TensorFlow等深度学习框架结合，实现AI视频处理。下面是一个使用ffmpeg-python和TensorFlow实现"DeepDream"效果的例子：
# 简化版示例，完整代码请参考examples/tensorflow_stream.py
import ffmpeg
import tensorflow as tf
def deep_dream_processing(input_video, output_video):
# 启动FFmpeg读取视频
input_process = (
ffmpeg
.input(input_video)
.output('pipe:', format='rawvideo', pix_fmt='rgb24')
.run_async(pipe_stdout=True)
)
# 启动FFmpeg写入视频
output_process = (
ffmpeg
.input('pipe:', format='rawvideo', pix_fmt='rgb24', s='{}x{}'.format(width, height))
.output(output_video, pix_fmt='yuv420p')
.overwrite_output()
.run_async(pipe_stdin=True)
)
# 加载TensorFlow模型
model = tf.keras.applications.InceptionV3(include_top=False, weights='imagenet')
# 逐帧处理
while True:
in_bytes = input_process.stdout.read(width * height * 3)
if not in_bytes:
break
# 转换为TensorFlow张量
frame = np.frombuffer(in_bytes, np.uint8).reshape([height, width, 3])
tensor = tf.convert_to_tensor(frame)
# 应用DeepDream处理
processed_tensor = deep_dream(model, tensor)
# 写回输出管道
output_process.stdin.write(processed_tensor.numpy().tobytes())
# 清理
input_process.wait()
output_process.stdin.close()
output_process.wait()
这个例子展示了如何将ffmpeg-python与深度学习框架结合，实现高级视频处理功能。完整的示例代码可以查看tensorflow_stream.py。
学习资源与进一步探索
ffmpeg-python提供了丰富的示例代码和文档，帮助你深入学习和掌握视频处理技巧：
- 官方文档: doc/src/index.rst提供了详细的API参考和使用说明
- 示例代码库: examples/目录包含了各种场景的示例代码，从简单的视频转换到复杂的AI视频处理
- 测试用例: ffmpeg/tests/test_ffmpeg.py包含了大量测试代码，可以作为高级用法的参考
- FFmpeg过滤器文档: 要充分利用ffmpeg-python，建议参考FFmpeg官方过滤器文档，了解所有可用的视频和音频过滤器
总结
ffmpeg-python为Python开发者提供了一个简洁而强大的接口，让复杂的视频处理任务变得简单。通过本文的介绍，你已经了解了ffmpeg-python的基本用法和常见场景，包括：
- 安装和配置ffmpeg-python环境
- 使用简洁的Python代码实现视频处理
- 提取视频信息和生成缩略图
- 处理复杂的音视频流
- 与Jupyter和深度学习框架集成
ffmpeg-python的强大之处在于它将FFmpeg的全部功能封装在直观的Python API中，同时保持了处理复杂媒体流的能力。无论你是需要简单的视频格式转换，还是复杂的AI视频处理，ffmpeg-python都能满足你的需求。
现在，你已经具备了使用ffmpeg-python进行视频处理的基础知识。下一步，建议你浏览examples/目录中的示例代码，尝试修改和扩展它们，以适应你的具体需求。随着实践的深入，你会发现ffmpeg-python可以帮助你轻松应对各种视频处理挑战。
希望本文能帮助你快速入门ffmpeg-python，并享受用Python处理视频的乐趣！如果你有任何问题或发现有趣的应用场景，欢迎在项目的issue tracker中分享。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
