使用vidgear的WebGear_RTC实现实时视频流处理-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00019/article/details/148575961

使用vidgear的WebGear_RTC实现实时视频流处理

vidgear A High-performance cross-platform Video Processing Python framework powerpacked with unique trailblazing features :fire: 项目地址: https://gitcode.com/gh_mirrors/vi/vidgear

项目概述

vidgear是一个高性能的视频处理Python库，其中的WebGear_RTC组件专门用于构建基于WebRTC技术的实时视频流应用。本文将重点介绍WebGear_RTC的几个典型应用场景，包括与树莓派相机模块的集成、视频稳定化处理以及多视频源同时显示的实现方法。

树莓派相机模块集成

WebGear_RTC通过内部封装VideoGear，可以轻松访问CamGear和PiGear视频捕获API的所有参数。这使得它能够完美支持树莓派相机模块。

新版本Picamera2后端

最新版本的WebGear_RTC支持picamera2库，这是树莓派相机模块的新一代Python接口。以下是一个基础示例，展示了如何配置各种相机参数：

import uvicorn
from libcamera import Transform
from vidgear.gears.asyncio import WebGear_RTC

options = {
    "frame_size_reduction": 25,  # 帧尺寸缩减25%
    "queue": True,  # 启用队列
    "buffer_count": 4,  # 设置缓冲区数量
    "controls": {"Brightness": 0.5, "ExposureValue": 2.0},  # 亮度与曝光控制
    "transform": Transform(hflip=1),  # 水平翻转
    "auto_align_output_config": True  # 自动对齐相机配置
}

web = WebGear_RTC(
    enablePiCamera=True, 
    resolution=(640, 480), 
    framerate=60, 
    logging=True, 
    **options
)

uvicorn.run(web(), host="localhost", port=8000)
web.shutdown()

传统Picamera后端

如果系统不支持picamera2，WebGear_RTC会自动回退到传统的picamera库：

import uvicorn
from vidgear.gears.asyncio import WebGear_RTC

options = {
    "frame_size_reduction": 25,
    "hflip": True,  # 水平翻转
    "exposure_mode": "auto",  # 自动曝光
    "iso": 800,  # ISO感光度
    "exposure_compensation": 15,  # 曝光补偿
    "awb_mode": "horizon",  # 白平衡模式
    "sensor_mode": 0  # 传感器模式
}

web = WebGear_RTC(
    enablePiCamera=True,
    resolution=(640, 480),
    framerate=60,
    logging=True,
    **options
)

uvicorn.run(web(), host="localhost", port=8000)
web.shutdown()

实时视频稳定化处理

WebGear_RTC支持实时视频稳定化功能，可以有效减少相机抖动带来的画面不稳定问题：

import uvicorn
from vidgear.gears.asyncio import WebGear_RTC

options = {"frame_size_reduction": 25}  # 性能优化选项

# 启用视频稳定化(stabilize=True)
web = WebGear_RTC(source="foo.mp4", stabilize=True, logging=True, **options)

uvicorn.run(web(), host="localhost", port=8000)
web.shutdown()

多视频源同时显示

WebGear_RTC支持自定义视频流处理，我们可以利用这一特性实现多个视频源的同屏显示：

import uvicorn, cv2
import numpy as np
from vidgear.gears.asyncio import WebGear_RTC

web = WebGear_RTC(logging=True)

def get_conc_frame(frame1, frame2):
    """将两个帧水平拼接"""
    h1, w1 = frame1.shape[:2]
    h2, w2 = frame2.shape[:2]
    vis = np.zeros((max(h1, h2), w1 + w2, 3), np.uint8)
    vis[:h1, :w1, :3] = frame1
    vis[:h2, w1:w1+w2, :3] = frame2
    return vis

class Custom_Stream_Class:
    """自定义双视频源流处理类"""
    def __init__(self, source1=None, source2=None):
        if source1 is None or source2 is None:
            raise ValueError("必须提供两个视频源")
        self.stream1 = cv2.VideoCapture(source1)
        self.stream2 = cv2.VideoCapture(source2)
        self.running = True

    def read(self):
        if self.running:
            grabbed1, frame1 = self.stream1.read()
            grabbed2, frame2 = self.stream2.read()
            if grabbed1 and grabbed2:
                return get_conc_frame(frame1, frame2)
        return None

    def stop(self):
        self.running = False
        if self.stream1: self.stream1.release()
        if self.stream2: self.stream2.release()

options = {
    "custom_stream": Custom_Stream_Class(
        source1="foo1.mp4", 
        source2="foo2.mp4"
    )
}

web = WebGear_RTC(logging=True, **options)
uvicorn.run(web(), host="localhost", port=8000)
web.shutdown()