GPU视频编解码：X86 VideoProcessFrame 视频编解码入门（二）

已于 2025-03-16 00:37:47 修改
阅读量831 收藏 3
点赞数 22
分类专栏： GPU视频编解码 文章标签： 视频编解码 数据库 sqlserver
于 2025-03-15 16:10:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_55083979/article/details/146280477
版权

一.实验设备硬件情况说明

        1.VPF框架目前不支持Jetson系列，实验设备为X86主机，

root@autodl-container-2b344a8a9f-e5fa6b67:~/autodl-tmp/VideoProcessingFramework# cat /etc/os-release 
PRETTY_NAME="Ubuntu 22.04.3 LTS"
NAME="Ubuntu"
VERSION_ID="22.04"
VERSION="22.04.3 LTS (Jammy Jellyfish)"
VERSION_CODENAME=jammy
ID=ubuntu
ID_LIKE=debian
HOME_URL="https://www.ubuntu.com/"
SUPPORT_URL="https://help.ubuntu.com/"
BUG_REPORT_URL="https://bugs.launchpad.net/ubuntu/"
PRIVACY_POLICY_URL="https://www.ubuntu.com/legal/terms-and-policies/privacy-policy"
UBUNTU_CODENAME=jammy
root@autodl-container-2b344a8a9f-e5fa6b67:~/autodl-tmp/VideoProcessingFramework#

        2.设备端为auto-dl的远程设备(在wsl上cuda-11.8编译不出来PyNvCodec) 

root@autodl-container-2b344a8a9f-e5fa6b67:~/autodl-tmp/VideoProcessingFramework# nvidia-smi
Sat Mar 15 15:47:49 2025       
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 550.54.14              Driver Version: 550.54.14      CUDA Version: 12.4     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 4090 D      On  |   00000000:C2:00.0 Off |                  Off |
| 32%   33C    P0             44W /  425W |       0MiB /  24564MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
                                                                                         
+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI        PID   Type   Process name                              GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+

        3.尽量选择cuda-12.1及其以上版本吧 

root@autodl-container-2b344a8a9f-e5fa6b67:~/autodl-tmp/VideoProcessingFramework# nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2023 NVIDIA Corporation
Built on Mon_Apr__3_17:16:06_PDT_2023
Cuda compilation tools, release 12.1, V12.1.105
Build cuda_12.1.r12.1/compiler.32688072_0

二.PyNvCodec安装

        1.基础配置：cuda12.1+python3.12，cuda不要低于12.1，python3.10以上

        2.git clone https://github.com/NVIDIA/VideoProcessingFramework.git

        3.cd VideoProcessingFramework

        4.中间会出现一个error，安装一下依赖就好了

root@autodl-container-2b344a8a9f-e5fa6b67:~/autodl-tmp/VideoProcessingFramework# apt-get install -y libavfilter-dev

        5.pip3 install . 就会提示安装成功

root@autodl-container-2b344a8a9f-e5fa6b67:~/autodl-tmp/VideoProcessingFramework# nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2023 NVIDIA Corporation
Built on Mon_Apr__3_17:16:06_PDT_2023
Cuda compilation tools, release 12.1, V12.1.105
Build cuda_12.1.r12.1/compiler.32688072_0
root@autodl-container-2b344a8a9f-e5fa6b67:~/autodl-tmp/VideoProcessingFramework# apt-get install -y libavfilter-dev^C
root@autodl-container-2b344a8a9f-e5fa6b67:~/autodl-tmp/VideoProcessingFramework# python3
Python 3.12.3 | packaged by Anaconda, Inc. | (main, May  6 2024, 19:46:43) [GCC 11.2.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import PyNvCodec
>>>

三.PyNvDecoder + PyNvEncoder 实例

        1.定义超参数

# 设定输入视频的基础信息
gt_width = 848  # 视频宽度
gt_height = 464  # 视频高度
gt_res_change = 47  # 预计第 47 帧发生分辨率变化
gt_is_vfr = False  # 是否是可变帧率（VFR）
gt_pix_fmt = nvc.PixelFormat.NV12  # 设定像素格式为 NV12
gt_framerate = 30  # 设定帧率为 30 FPS
gt_num_frames = 96  # 总帧数 96
gt_timebase = 8.1380e-5  # 设定时间基准
gt_color_space = nvc.ColorSpace.BT_709  # 设定颜色空间为 BT.709
gt_color_range = nvc.ColorRange.MPEG  # 设定颜色范围

        2. 测试 GPU 硬件编码功能：读取输入视频，解码并编码成 H.264，验证编码的帧数与解码的帧数是否一致

def test_encode_all_surfaces(self):
        """
        测试 GPU 硬件编码功能：
        - 读取输入视频，解码并编码成 H.264
        - 验证编码的帧数与解码的帧数是否一致
        """
        gpu_id = 0  # 选择 GPU 设备
        res = str(gt_width) + "x" + str(gt_height)  # 设定编码分辨率
        encFrame = np.ndarray(shape=(0), dtype=np.uint8)  # 初始化编码帧数据

        # 创建解码器
        nvDec = nvc.PyNvDecoder(gt_file, gpu_id)

        # 创建编码器（H.264）
        nvEnc = nvc.PyNvEncoder(
            {
                "preset": "P4",
                "tuning_info": "high_quality",
                "codec": "h264",
                "profile": "high",
                "s": res,
                "bitrate": "1M",
            },
            gpu_id,
        )

        frames_sent = 0  # 记录发送到编码器的帧数
        frames_recv = 0  # 记录从编码器获取的帧数

        while True:
            dec_surf = nvDec.DecodeSingleSurface()  # 读取解码后的单帧数据
            if not dec_surf or dec_surf.Empty():
                break  # 结束解码

            frames_sent += 1  # 统计发送到编码器的帧数
            nvEnc.EncodeSingleSurface(dec_surf, encFrame)  # 编码帧

            if encFrame.size:
                frames_recv += 1  # 统计成功编码的帧数

        # 结束编码，确保所有帧被正确编码
        while True:
            success = nvEnc.FlushSinglePacket(encFrame)
            if success and encFrame.size:
                frames_recv += 1
            else:
                break

        # 验证解码的帧数和编码的帧数一致
        self.assertEqual(frames_sent, frames_recv)

        3.测试在 输入视频分辨率动态变化 时，解码器和编码器的重新配置功能。

def test_reconfigure(self):
        """
        测试在 **输入视频分辨率动态变化** 时，解码器和编码器的重新配置功能。

        测试流程：
        1. 读取 `test_res_change.h264` 这个视频（分辨率会在播放过程中变化）。
        2. 逐帧解码，并检查当前帧的分辨率是否发生变化：
        - 若分辨率变化，则 **重新配置** 编码器，使其匹配新分辨率。
        - 重新配置时，编码器会插入 **IDR（关键帧）**，确保编码流连续性。
        3. 每次编码后，将编码帧解码回来，检查是否符合期望的输出分辨率。

        断言：
        - **编码器的分辨率在 reconfigure 之后应与解码的帧一致**。
        - **在分辨率变化前，解码得到的帧分辨率应与原始设定一致**。

        目的：
        - 验证 `PyNvDecoder`（解码器）能够自动检测分辨率变化。
        - 验证 `PyNvEncoder` 能够正确执行 `Reconfigure()` 并维持 H.264/H.265 编码流的稳定性。
        """
        gpu_id = 0  # 选择 GPU 设备
        res = str(gt_width) + "x" + str(gt_height)  # 设定默认编码分辨率
        encFrame = np.ndarray(shape=(0), dtype=np.uint8)  # 初始化存储编码数据的 NumPy 数组

        # 初始化解码器（用于处理分辨率变化的输入视频）
        nvDec = nvc.PyNvDecoder(gt_file_res_change, gpu_id)

        # 另一个解码器，用于解码回编码后的数据
        nvRcn = nvc.PyNvDecoder(gt_width, gt_height, nvc.PixelFormat.NV12, nvc.CudaVideoCodec.H264, gpu_id)

        # 初始化编码器（初始设定为固定分辨率）
        nvEnc = nvc.PyNvEncoder(
            {
                "preset": "P4",  # 设定编码器预设参数
                "tuning_info": "high_quality",  # 设定编码质量
                "codec": "h264",  # 选择 H.264 编码
                "profile": "high",  # 选择 High Profile
                "s": res,  # 设定初始分辨率
                "bitrate": "1M",  # 设定比特率为 1Mbps
            },
            gpu_id,
        )

        frames_recn = 0  # 统计解码并成功编码的帧数

        while True:
            # 从视频文件中读取并解码单帧数据
            dec_surf = nvDec.DecodeSingleSurface()
            if not dec_surf or dec_surf.Empty():
                break  # 读取完毕，结束循环

            # 获取当前解码帧的分辨率
            sw = dec_surf.Width()
            sh = dec_surf.Height()

            # 检查是否发生了分辨率变化
            if sw != gt_width or sh != gt_height:
                # 发生分辨率变化时，需要先将编码器缓冲区内的帧全部输出
                while nvEnc.FlushSinglePacket(encFrame):
                    frames_recn += 1

                # 重新配置编码器，使其匹配新的分辨率
                res = str(sw) + "x" + str(sh)
                self.assertTrue(nvEnc.Reconfigure({"s": res}, force_idr=True, reset_encoder=True))

                # 断言：编码器的分辨率已经正确更新
                self.assertEqual(nvEnc.Width(), sw)
                self.assertEqual(nvEnc.Height(), sh)

            # 使用新的编码器配置对当前帧进行编码
            nvEnc.EncodeSingleSurface(dec_surf, encFrame)

            if encFrame.size:
                # 解码编码后的数据，确保正确性
                dec_surf = nvRcn.DecodeSurfaceFromPacket(encFrame)
                if dec_surf and not dec_surf.Empty():
                    frames_recn += 1

                    if frames_recn < gt_res_change:
                        # 分辨率变化前，解码的帧应该仍然保持原始设定的大小
                        self.assertEqual(dec_surf.Width(), gt_width)
                        self.assertEqual(dec_surf.Height(), gt_height)
                    else:
                        # 发生变化后，解码帧的大小应匹配新的输入分辨率
                        self.assertEqual(dec_surf.Width(), sw)
                        self.assertEqual(dec_surf.Height(), sh)

 

QT软件开发-基于FFMPEG设计视频播放器-GPU硬解、OpenGL渲染、解码音频完整例子（六）
09-18 2330
前面章节编写的例 子都是独立的，没有结合在一起，当前这篇文章是将前面的几个例子结合在一起，完成一个完整的播放器Demo开发。支持硬件加速解码视频帧、通过OpenGL渲染；解码音频帧、通过QAudioOutput播放音频。支持本地视频文件播放，支持流媒体地址播放。例如：rtmp、rtsp、hls、http等等协议。支持进度条跳转（实时直播流不支持的）、进度条显示，总时间显示，视频基本信息显示，基本上完成一个播放器的基础功能。
【ffmpeg+cuda实现硬编解码】
jiexijihe945的博客
07-02 6867
最近在搞一个项目，我需要向AI提供视频帧数，本来一开始摄像头是H.264的编码，我直接复制流推到AI层去推理，然后需要将事件回溯成30秒的视频截取。结果摄像头换成了HEVC编码，截取的视频不能在网页直接播放（需要JS实现调用硬解码）。一开始的方案是ffmpeg直接将HEVC转成H.264结果因为事务巨多CPU占用量过大，导致影响到了推理，因为本身选用的模型+杂七杂八的业务逻辑也要占用大量的CPU资源，所以经过研究把ffmpeg和nvcodec结合起来来平衡设备性能，算是解决了这个问题吧。这两个是前提条件，我
nvcodec-python
04-07
NvCodec-Python 要求 CUDA> = 11.2 numpy的> = 1.7 python> = 3.6 gcc> = 7.5 使> = 4.1 安装 pip install pynvcodec 用法 0.初始化PyNvCodec from nvcodec import VideoSource , VideoDecoder , VideoEncoder 1.使用VideoSource source = VideoSource ( "rtmp://RTMP_URL" ) h264_data = source . read () 2.使用VideoDecoder decoder = VideoDecoder () frames = decoder . decode ( h264_data ) # frames can be NULL or List<frame> 3.
VPF：Python中的硬件加速视频处理框架
submarineas的博客
12-28 5826
引言 本篇是翻译自VPF原作者在论坛上发布的关于VPF的方法以及原理介绍，基本上涵盖了整个python硬解码的过程，能对视频的编解码也能有一个很全面的认识。 VideoProcessingFramework介绍 从Kepler一代的NVIDIA GPU开始支持加速的硬件视频编码，而Fermi一代以来的所有GPU都通过NVIDIA Video Codec SDK支持硬件视频加速解码。 在表现出出色的性能和灵活性的同时，它需要C / C ++的知识。另一个选择是使用第三方库和应用程序，例如FFmpeg或GStr
PyTorch视频解码库TorchCodec使用教程
最新发布
gitblog_00540的博客
04-06 799
PyTorch视频解码库TorchCodec使用教程 torchcodec PyTorch video decoding 项目地址: https://gitcode.com/gh_mirrors/to/torchcodec ...
Python硬解码并AI推理——PyNvVideoCodec使用记录
xiaonanchengblog的博客
12-27 1450
原来的不能用了，现在变成了了。直接通过pip安装但是Python版本要，但也比之前安装友多了。
NVIDIA显卡H.264/H.265硬编解码参考文档
03-15
NVIDIA显卡H.264/H.265硬编解码参考文档，别的地方下载
使用GPU进行视频编解码
热门推荐
charleslei的专栏
12-10 2万+
使用GPU进行视频编解码
GPU视频编解码
qq_39265335的博客
02-09 2785
一视频编解码基础 1.1识别编码流程 视频编解码流程 1.2 YUV颜色空间 YCbCr通常是YUV的同义词，Y为明度(luma)，CbCr为色度(chroma)，Cb为 蓝色分量，Cr为红色分量。 颜色空间转换公式： –      RGB转YUV •      y = [0.299,0.587,0.114] *[r,g,b]’ •      u = [-0.147,-0.28...
GPU加速的Hap视频编码器技术实现
weixin_29363791的博客
08-29 1839
本文还有配套的精品资源，点击获取 简介：利用GPU（图形处理器）的强大并行计算能力来优化视频编码，Hap编码器是一种专为GPU设计的视频编解码器，旨在提高编码效率，降低内存使用，并支持多种平台和软件，如QuickTime。它适合高分辨率和多通道视频项目，适用于实时视频播放和创意视觉艺术，例如在VDMX软件中使用。Hap编码器的安装程序“HapQuickTimeSetup.m...
【GPU编解码】GPU硬解码---DXVA
weixin_33727510的博客
08-09 613
前面介绍利用NVIDIA公司提供的CUVID库进行视频硬解码，下面将介绍利用DXVA进行硬解码。 一、DXVA介绍  　　DXVA是微软公司专门定制的视频加速规范，是一种接口规范。DXVA规范制定硬件加速解码可分四级：VLD，控制BitStream；IDCT，反余弦变换；Mocomp，运动补偿，Pixel Prediction；PostProc，显示后处理。其中，VLD加速等级最高，所以其包含...
NVIDIA x86 GPU编解码器SDK 11.0.10版本发布
综合以上信息，我们可以得知这份SDK文件是一个专为NVIDIA的x86架构GPU设计的视频编解码软件开发包，属于较新版本，意味着它将包含最新的编解码技术、性能改进及优化。开发者可以利用这份SDK来为自己的应用程序加入对...
video_codec_sdk_8.0.14
08-08
编解码要用得常用工具，video_codec_sdk_8.0.14，最新的SDK
S3C6410平台视频硬编解码MFC源码测试稳定
2. 硬编码与解码的优势：硬编码和硬解码指的是利用硬件加速单元，如GPU或专门的编解码器芯片来执行编解码工作。这种方法可以减少对CPU的依赖，提升编解码的速度和效率。在嵌入式设备上，这尤其重要，因为嵌入式设备...
硬件编解码与软件编解码的区别
yunnaoguodu的博客
05-25 2814
​如今，游戏串流的效果是越来越好了，玩家也因此拥有了前所未有的超赞体验，这离不开硬件的支持。其中，编解码方式对串流效果有着直接且巨大的影响。 什么是编解码 编解码指的是用特定算法将数据进行转换和还原的过程，或将电脉冲信号转换成它所代表的信息、数据等的过程。 由于直接传输原始画面数据量庞大，会占用较多的带宽资源，为了节约带宽，减轻玩家的带宽压力，在传输前，编码器会对游戏画面进行压缩，让画面的流数据减小，并成为统一的编码格式。 这样一来，节约了大量的宽带资源，并且传输的数据流
在python中使用nvidia的VPF库对RTSP流进行硬解码并使用opencv进行显示
dota的专栏
08-08 5248
随着视频处理技术的不断发展，越来越多的应用需要对视频流进行解码和处理。在本文中，我们将介绍一个基于Python的多线程应用程序，该应用程序可以解码并处理多个RTSP视频流，同时利用GPU加速，以提高处理速度。这个应用程序使用了一些关键的Python库和工具，包括PyNvCodec、OpenCV、和PyCUDA等。它充分利用了现代GPU的计算能力，实现了高效的视频解码和处理。在这个应用程序中，我们使用了Python的库来实现多线程解码。
PyNvVideoCodec 调试笔记
yuanjc002的博客
09-23 830
一个是8bit的，一个是16bit的。
【GPU-硬解码介绍】
weixin_46867385的博客
01-08 5598
硬解码介绍
opencv系列之基于NVIDIA显卡的opencv-python硬解方案
kkae8643150的专栏
03-06 9187
前言 ffmpeg编译使用cuvid硬解方案试过了，不过解码出来的像素格式为YUV420， opencv中使用需要转成BGR，转色彩空间这部占用的CPU过高。 因此需要将转色彩空间这步也用GPU来处理，NVIDIA 开源了适用于 Python 的视频处理框架「VideoProcessingFramework（VPF）」。该框架为开发人员提供了一个简单但功能强大的 Python 工具，可用于硬件加速的视频编码、解码和处理类等任务。 同时，由于 Python 绑定下的 C ++ 代码，它使开发者可以在数十行代码
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值