WebRTC系列-适配GPUImage及其他视频处理改造

最新推荐文章于 2023-08-13 21:49:34 发布
最新推荐文章于 2023-08-13 21:49:34 发布
阅读量1k 收藏 1
点赞数
分类专栏： WebRTC进阶 文章标签： webrtc 音视频
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lym594887256/article/details/130551305
版权
本文介绍了如何将WebRTC的摄像头数据适配到GPUImage进行处理。首先，改造GPUImage的数据输入源，创建新的类继承自GPUImageVideoCamera，仅保留数据输入接口。接着，修改GPUImage数据输出源，添加数据回调支持。然后，对WebRTC的RTCCameraVideoCapturer进行改造，增加数据回调和处理后的数据返回方法。通过这些改造，可以实现摄像头数据的GPU处理并返回给WebRTC，而无需进行额外的格式转换。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录


GPUImage使用OpenGL提供了很多的图像处理算法，包括最常用的美颜处理、水印等功能，这些基本的功能如何添加到WebRTC中，本文以美颜为例子，叙述主要的改造流程；同时也适用于OpenGL等图像处理库；注：以下代码是使用WebRTCm76中的iOS端做分析，其他端处理思路类似。

1. GPUImage 的一些改动

对于摄像头数据的采集WebRTC和GPUImage都提供一个摄像头的封装类，相比之下WebRTC对摄像头的封装做了更多的处理，所以这里的改造，主要是替换掉mGPUImage提供的视频采集封装类，并将WebRTC采集的数据塞给GPUImage处理；同时将处理完的数据返回给WebRTC，相对的也要修改WebRTC的摄像头采集类，这在下一节介绍；

1.1 GPUImage数据输入源

在源码中提供了类GPUImageVideoCamera用户采集摄像头的数据，同时这个类中也提供了外部输入数据的接口：

- (
了解本专栏 订阅专栏 解锁全文 超级会员免费看
android-gpuimage-master 编译失败
chao
01-21 1403
Error:Execution failed for task ':library:compileDebugNdk'. > com.android.ide.common.internal.LoggedErrorException: Failed to run command: C:\Users\hp\AppData\Local\Android\Ndk\ndk-build.cmd NDK_PRO
WebRTC源码分析之硬编码那些事
hnjzfwy的博客
04-19 1025
WebRTC (Web Real-Time Communications) 是 RTC 的一部分，是一项实时通信技术，它容许网络应用或者站点，在不借助两头媒介的状况下，建设浏览器之间点对点（Peer-to-Peer）的关联，实现视频流/音频流或者应用数据的传输。
metaRTC云桌面demo(浏览器/嵌入式/GPU编码/H264/H265/webrtc)
02-24
metaRTC云桌面支持浏览器和客户端（windows/linux/嵌入式),支持H264/H265，支持Nvidia和Intel的GPU编码，支持webrtc/rtmp,可集成到其他产品和项目中。 使用参见 https://blog.youkuaiyun.com/m0_56595685/article/details/123104236
WebRTC音视频通话-实现GPUImage视频美颜滤镜效果iOS
一名开发者
08-13 1471
WebRTC音视频通话-实现GPUImage视频美颜滤镜效果。主要用到GPUImage处理视频画面CVPixelBufferRef，将处理后的CVPixelBufferRef生成RTCVideoFrame，通过调用localVideoSource中实现的didCaptureVideoFrame方法。
用yangwebrtc使用gpu编码器搭建游戏教育等在线低延迟直播
metaRTC的博客
11-27 6311
webrtc实现大多为软编码，CPU负载重，性能较硬编码低，利用GPU进行编码可以大大提高编码效率，并降低系统负载和延迟。
webrtc android 美颜
FENGFENG444333的专栏
06-28 2617
webrtc-android 美颜
WebRTC视频流渲染中插入图片帧
番薯大佬的专栏
04-10 3334
WebRTC视频流渲染中插入自己的图片帧渲染 WebRTC revision 8146 2015年初,戴维营里上了WebRTC框架进行音视频通话项目,由于一个无聊的主意,想要在WebRTC视频聊天的过程中,在本地视频画面添加一个水印图片的渲染,但是希望不要改动代码太多,最后还是没有实现视频帧和图片的融合渲染,只测试了把一个写死的图片文件数据当成一帧数据渲染出来.这里为这个无聊的行为做个
webrtc基于webrtc-streamer推流实现直播
02-02
WebRTC的核心组件包括：PeerConnection用于处理音视频数据的实时传输，MediaStream用于捕捉和操作媒体流，以及Signaling用于协商连接建立。WebRTC-Streamer是WebRTC的一个扩展，它提供了一个服务器端的解决方案，...
webrtc-streamer-v0.8.1-dirty-Windows-AMD64-Release.zip
01-26
4. **库文件**：可能包括WebRTC库和其他依赖库，用于支持WebRTC-Streamer的正常运行。 5. **文档**：如README、LICENSE等，提供了项目的基本信息、使用指南和授权条款。 6. **示例**：可能包含HTML页面和JavaScript...
webrtc-streamer-v0.8.1
11-16
2. **RTSP/RTP支持**：它能够处理RTSP（Real-Time Streaming Protocol）和RTP（Real-time Transport Protocol）协议，使得能够流式传输来自IP摄像头和其他设备的视频。 3. **浏览器兼容性**：由于基于WebRTC，它...
webrtc-streamer
05-22
WebRTC-streamer支持多种输入源，包括本地摄像头、网络RTSP流或其他WebRTC兼容的源。 为了使用WebRTC-streamer，你需要了解以下关键技术点： 1. **SDP（Session Description Protocol）**：用于描述媒体会话，包括...
【webrtc-streamer】关于webrtc-streamer使用时CPU占用过高处理方式记录
liutian_ye的博客
11-22 4468
关于解决webrtc-streamer占用CPU过高问题记录
GPUImage源码+demo
10-21
本资源包含开源库GPUImage源码和使用demo,经本人测试，库完美可用，能够实现静态图片和视频的滤镜处理。很方便，还可以自定义。
使用android-gpuimage的一些问题总结
猴子请来的救兵
06-28 5294
前言 android-gpuimage虽然可以实现滤镜的效果，但遇到稍微复杂的需求，框架本身的bug和一些缺陷就暴露出来了，而且这个项目已经2年没维护过了，提issues也没人讨论，这里总结一些遇到的问题和解决办法。 1、Demo跑起来就有些bug android-gpuimage-support 重写了更友好的示例 2、异步调用getBitmapWithFilterApplied...
Android技术分享| 超简单！给 Android WebRTC增加美颜滤镜功能
anyRTC的博客
10-19 1389
视频采集渲染流程分析 在增加滤镜功能之前，需要对 WebRTC 视频采集的流程有一定了解。 WebRTC 中定义了 VideoCapture 接口类，其中定义了相机的初始化，预览，停止预览销毁等操作。 实现类是 CameraCapture，并且封装了Camera1Capture、Camera2Capture 两个子类，甚至还有屏幕共享。 WebRTC 中开始视频采集非常的简单： val videoCapture = createVideoCapture() videoSource = videoCapt.
WebRTC音视频之美颜开启后小流闪烁问题
hbblzjy的博客
10-13 738
美颜开启后，打开双流，远端查看小流时，小流闪烁问题 项目中使用的是GPUImage进行的美颜处理，添加了美白、磨皮、亮光，但是当开启美颜效果后，如果只使用大流进行查看视频，视频美颜正常，画面正常，但是如果使用小流查看美颜画面，视频画面中会偶尔闪烁黑块，类似于大块马赛克效果，然后进行分析，如果将美颜效果关闭，小流视频画面正常，视频处理流程：将采集到的视频画面，进行YUV或者RGB美颜渲染处理，然后将画面帧传递给WebRTC进行编码，最后上行给服务器，下发给远端观看。 猜测，既然关闭美颜画面，小流画面没有问
使用GPU硬件加速FFmpeg视频转码
yinshipin007的博客
04-11 5354
用GPU进行转码的命令和软转码命令不太一样，CPU转码的时候，我们可以依赖ffmpeg识别输入视频的编码格式并选择对应的解码器，但ffmpeg只会自动选择CPU解码器，要让ffmpeg使用GPU解码器，必须先用ffprobe识别出输入视频的编码格式，然后在命令行中指定对应的GPU解码器。同时，如果要使用GPU进行硬件加速的话，也是必须自己编译FFmpeg的，所以本节将介绍从源码编译安装FFmpeg的方法（基于RHEL/Centos）如何安装显卡驱动本文不描述，请参考其他资料。
Android WebRTC 入门教程(一) -- 使用相机
QG
05-10 1172
webrtc
WebRTC --- Chrome Android平台上的硬件加速编解码分析
HTML5, Chromium和WebKit技术
11-05 7512
WebRTC是一个实时的视频通信功能，Android平台上的Chrome也提供了支持，在Chrome 29之后WebRTC功能趋于稳定，所以在之后的版本中默认被打开。也就是说不需要在”chrome://flags”中手动去打开该功能。 本节主要介绍一下Android平台上Chrome支持WebRTC硬件加速编解码的现状： 首先介绍一下WebRTC的视频传输的大致流程，摄像头在一端拍下图片，然后
webrtc-streamer适配aac
最新发布
01-09
### 实现 webrtc-streamer 支持 AAC 音频编码 为了使 `webrtc-streamer` 支持 AAC 编码，需修改其源代码并集成相应的编解码库。默认情况下，WebRTC 源码并不支持 AAC 编解码功能[^1]。 #### 修改 WebRTC 源码以支持 AAC 编解码 具体来说，在 WebRTC 中加入对 AAC 的支持涉及以下几个方面： - **引入外部编解码器**：当前接入的编码库为 faac，而解码库则采用 faad2。这些第三方库需要被正确配置到项目构建环境中。 ```bash git clone https://github.com/koyachi/faac.git cd faac && mkdir build && cd build cmake .. make && sudo make install git clone https://sourceforge.net/projects/faac/files/faad2/ cd faad2 && ./bootstrap ./configure --enable-static --disable-shared make && sudo make install ``` - **调整 CMakeLists.txt 文件**：确保在项目的根目录下的 `CMakeLists.txt` 文件中添加对外部依赖项的支持路径以及链接选项。 ```cmake find_package(PkgConfig REQUIRED) pkg_check_modules(FAAC REQUIRED IMPORTED_TARGET libfaac>=1.0) target_link_libraries(your_target_name PRIVATE PkgConfig::FAAC) add_definitions(-DWEBRTC_CODEC_AAC=1) include_directories(${PROJECT_SOURCE_DIR}/third_party/aac/include/) link_directories(${PROJECT_SOURCE_DIR}/third_party/aac/lib/) ``` - **注册自定义音频处理模块**：通过继承 `AudioEncoderFactoryInterface` 接口创建新的工厂类实例，并重写 Create 方法返回特定类型的编码对象；同样地也需要实现对应的解码部分逻辑。 ```cpp class AACEncoderFactory : public AudioEncoderFactory { std::unique_ptr<AudioEncoder> MakeAudioEncoder( const SdpAudioFormat& format, absl::optional<AudioCodecPairId> codec_pair_id) override; }; void RegisterAACEncoders(WebRtcAudioProcessing* apm, AudioCodingModule* acm){ auto factory = rtc::make_ref_counted<AACEncoderFactory>(); acm->RegisterExternalAudioEncoder(factory.get(), "aac"); } ``` 完成上述更改之后重新编译整个工程即可让 `webrtc-streamer` 应用程序具备处理 AAC 流的能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

简简单单lym

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值