【webrtc】media base 的 MediaEngineInterface 、CompositeMediaEngine和 MediaChannel

原创 已于 2022-08-23 08:30:57 修改 · 409 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#webrtc #c++ #音视频

于 2022-08-22 23:34:46 首次发布
本文介绍了WebRTC中MediaChannel的职责，包括发送RTP/RTCP的异步操作，以及如何通过MediaEngine创建和管理流。MediaEngine负责音频和视频的编码，同时处理音视频同步。MediaChannel通过SSRC和StreamParams管理流，并通过任务队列异步发送RTP包。
了解本专栏 订阅专栏 解锁全文
【webrtc】MediaEngine的实现CompositeMediaEngine创建VOE
突围
05-20 410
CompositeMediaEngine
【webrtc】媒体引擎、混合引擎、媒体通道、数据通道
突围
10-22 691
最近自己设计传输sdk，需要参考rtc的设计风格。 媒体引擎类里，包含了音视频处理的入口类。 由于传输使用rtp-rtcp，因此，引擎里还有关于 rtp rtcp的参数 配置。 媒体引擎 只能在一个线程运行，但是任意线程都能调用 默认是worker 线程。 D:\dev\gerrit\livecloud\src\third_party\webrtc\media\engine\webrtc_media_engine.h 暴露接口：CreateMediaEngine 通过depend...
MediaEngineInterface分析
奔向火星的博客
05-22 601
MediaEngineInterface是Webrtc中的音视频引擎接口，重要性不言而喻，先看下它在类图中位置： 它的实现为： 可见MediaEngineInterface接口实际上包含了音频引擎WebRtcVoiceEngine和视频引擎WebRtcVideoEngine2。
WEBRTC 媒体引擎MediaEngine
伍意的博客
07-02 2348
WEBRTC 媒体引擎包括音频引擎 和 视频引擎 音频引擎包括 采集 处理 编码 传输 处理 解码 视频音频包括 采集 处理 编码 传输 处理 解码 视频采集流程 一.创建VideoCapturer  1.创建VideoCaptureFactory::CreateDeviceInfo  2.查询采集设备   GetDeviceName  3. 通过工厂方法创建Video
webrtc 代码学习（二） Media Engine
Miracle_包子
11-11 936
Media Engine 作者：LanPZzzz 文章目录1. Media Engine 创建2. CompositeMediaEngine 创建（media\base\mediaengine.h 94行）总结 1. Media Engine 创建 在PC Factory 创建时就已经创建，所以在整个PC factory 中只有一个 std::unique_ptr<MediaEngineIn...
WebRTC手记Channel概念、WebRtcVideoEngine2模块
yinshipin007的博客
07-13 581
前面两篇博文完整地介绍了WebRTC音视频的采集模块，接下来应该开始介绍关键的音视频编码模块。不过在介绍音视频编码模块之前，需要介绍一下Channel概念，WebRTC的每路数据的传输流程都封装成一个Channel对象。详细UML图如下：​MediaChannel及其派生类封装了待传输的编解码、RTP/RTCP封包解包等逻辑，具体对象由相应的Media Engine类创建，如图：视频Channel最终的实现类WebRtcVideoChannel2由WebRtcVideoEngine2创建，音频Channel
WebRTC 中收集音视频编解码能力
liveweb视频汇聚平台
10-13 594
在 WebRTC 中，交互的两端在建立连接的过程中，需要通过 ICE 协议，交换各自的音视频编解码能力，及各个编解码器支持的传输控制能力，如支持的编解码器的种类和各编解码器的一些参数配置，以及是否启用传输拥赛控制和 NACK 等，并协商出一组配置和参数，用于后续的音视频传输过程。OPUS 由于它的良好特性，一般默认都是打开的。音频编码格式描述的详细信息包括支持的音频 PCM 数据的采样率、通道数，编码的码率范围和支持的编码音频帧的时长范围，以及更直接用于弱网对抗的带内 FEC 开关和 CBR 开关等。
WebRTC VideoEngine 本地Video数据处理-VideoCaptureInput
EasyWater
11-11 2234
这里详细分析VideoCaptureInput的具体实现。
WebRTC笔记之九：最简单的视频聊天（使用WebRtcVideoEngine）
草上爬的博客
01-03 7511
一.环境 WebRTC版本：2021.03.07的master分支，详见WebRTC学习之二：编译 Qt版本：Qt5.12.6 VS2017 二.效果 这里使用的是虚拟摄像头，虚拟摄像头那家强，当属OBS的插件。右下角是本地视频，比较大的是远端视频。 三.实现 1.数据发送 翻看WebRTC源码，可以发现rtp/rtcp的发送最终会调用到cricket::MediaChannel::NetworkInterface接口中的SendPacket和SendRtcp方法。因此我们只要子类化这个.
WebRtc语音整体框架
风平浪静的专栏
09-25 2104
图一语音整体框架图 如上图所示，音频整个处理框架除了ligjingle负责p2p数据的传输，主要是VOE(Voice Engine)和Channel适配层 图二创建数据通信channel时序图 上图是本地端 的完整过程，VOE由CreateMediaEngine_w开始创建，Channel适配层由SetLocalDescription根据SDP开始创建，下面来分析下这两个过程 VOE创建过程 /*...
WebRTC 入门 02 通过浏览器使用摄像头 I
yaming的专栏
03-25 3316
这一节开始，我们通过JavaScript API来开发简单的Web应用程序来学习WebRTC框架。WebRTC框架提供的API既可以用于实现简单的功能，比如一对一的视频、音频通话。也有足够的灵活性可以让有经验的开发人员实现各种复杂的功能。WebRTC为开发人员提供的API大体上可以分为三类： 本地和远端音频、视频的获取和管理： MediaStreamInterface 连
webrtc 学习笔记5--线程模型
09-15 1817
TBD
WEBRTC视频网络传输到解码输出
伍意的博客
12-21 7571
一.  视频传输到解码 VideoCodingModuleImpl类其实并没有使用   函数调用次顺: VideoReceiveStream::DeliverRtp->RtpStreamReceiver::DeliverRtp->RtpReceiverImpl::IncomingRtpPacket->RTPReceiverVideo::ParseRtpPacket-> RtpStre
WebRTC笔记之十：最简单的聊天（音频+视频）
热门推荐
草上爬的博客
01-11 1万+
一.环境 WebRTC版本：2021.03.07的master分支，详见WebRTC学习之二：编译 Qt版本：Qt5.12.6 VS2017 二.效果 三.实现 这里直接将WebRTC笔记之八：最简单的音频聊天（使用WebRtcVoiceEngine）和WebRTC笔记之九：最简单的视频聊天（使用WebRtcVideoEngine） 组合起来。为了使代码更加简洁，我们可以参考WebRTC源码，使用多继承。比如视频部分如下所示： class QHVideoEngine : publi..
【粗读webrtc】创建mediaengine
突围
06-25 695
本人也写过自己mediaengine 现在看下webrtc是怎么做的 O:\WEBRWTCSTORE\webrtc-checkout\src\media\engine\webrtc_media_engine.h MediaEngineInterface mediaengine 是一个 MediaEngineInterface // MediaEngineInterface is an abstraction of a media engine which can be // subclassed..
最容易的编译webrtc方案
赖勇浩的编程私伙局
04-13 1443
怎么编译webrtc，在网上可以说是一搜一大把，基本上结合几篇文章，肯定能编译出来了。 真正的麻烦在于构建编译环境，简单来说，就是要有一台稳定地访问webrtc代码库的编译机器：因为webrtc的git仓库是难以访问的。 好久以前折腾过一次这件事情，后来就放下了也没有说，最近有朋友又问到我，我就在这里记一下吧。 简单来说，买一台海外服务器，装windows系统，然后用remote desktop连...
webrtc 的 CreateOffer 过程分析
zhuiyuanqingya的博客
11-21 5796
通过webrtc 点对点会话建立过程分析可以知道 CreateOffer 的具体实现位置在 src\third_party\webrtc\pc\mediasession.cc ，但是 CreateOffer 执行过程中具体经历了什么，还没有进行介绍，接下来将介绍 CreateOffer 究竟创建了什么内容。 1. 总体介绍 在 CreateOffer 中，会获取本地所支持的音视频编码格式，以及传输...
FreeSWITCH Record
最新发布
qq_27890899的博客
08-13 1890
FreeSWITCH学习记录，从部署到配置，从Java后端到H5前端，旨在实现一套企业级融合通信系统。
Linux平台编译WebRTC中Base库的CMake指南
此外，了解WebRTC的构建过程不仅限于base库，其他模块如audio、video、media等也需要类似的方式编译。在WebRTC的构建系统中，CMake扮演了一个桥梁的角色，它读取CMakeLists.txt文件，根据这些文件中定义的规则来生成...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

等风来不如迎风去

你的鼓励是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值