【OWT server】MCU：Video Agent 4: 帧编辑混画接口类：cpp VideoFrameMixer

已于 2022-02-21 12:55:58 修改
阅读量366 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： WebRTC入门与实战 文章标签： mcu 单片机 嵌入式硬件
于 2021-07-15 08:35:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/commshare/article/details/118751008
本文介绍了OWT Server中的VideoFrameMixer类，它是视频帧编辑和混合的核心接口。内容涉及到MCU如何实现帧级别的编辑和混画功能，以及编码器如何实时调整帧的输出码率。重点讨论了VideoFrameMixer.h头文件及其在混画实时调整码率方面的接口，虽然相关接口已被注释。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  • 前一篇已经看到，
  • engine核心功能是下沉到famemixer这层做的
  • /Users/zhangbin/tet/licodelllcode/owtoffical/nd/rtc-server/source/agent/video/videoMixer/VideoFrameMixer.h
  • VideoFrameMixer.h 是 视频帧编辑和混合接口类

混画实时调整码率的接口被注释了

  • https://github.com/open-webrtc-toolkit/owt-server/blob/master/source/agent/video/videoMixer/VideoFrameMixer.h
    在这里插入图片描述
  • impl 里还有
  • 在这里插入图片描述

编码器实时调整帧的输出码率

了解本专栏 订阅专栏 解锁全文
【OWT server】MCU：Video Agent 1
突围
07-09 330
index.js https://github.com/open-webrtc-toolkit/owt-server/blob/master/source/agent/video/index.js router InternalConnectionRouter const {InternalConnectionRouter} = require('./internalConnectionRouter'); const router = new InternalConnectionRouter...
owt-server源码剖析(三)--video模块分析之Mixer In
文艺小少年的博客
07-18 685
video/audio模块测试负责处理音视频数据，关键是合流和视频转码。因为会详细分析源码，所以篇幅会比较长，就对video的媒体部分进行了拆分本章先来分析一下Mixer In部分，下一章会讲解VideoMixer Out部分...............
【OWT server】MCU：Video Agent 3: 混画：js VMixer 与 cpp VideoMixer
突围
07-15 319
js 层的VideoMixer 在js创建。并且调用js层的engine 来实现功能 当然，js 层还有layout 处理。js配置也传递给cpp层。 js层的engine，有对应cpp层的VideoMixer CPP 实现 VideoMixer 又需要VideoFrameMixer 具体干活。 js层的 VMIXER api api 是封装engine 调用engine对应api that.forceKeyFrame = function (stream_id) { ...
owt-server接口总结
impingo的博客
03-17 3999
目录概述owt-server的操作流程创建房间添加和刷新输入流添加输入流刷新输入流添加输出流播放合流后输出的内容删除输入流删除输出流删除房间QQ交流群：697773082微信（cczjp1989） 概述 owt-server提供了一个官方demo和控制台接口来实现拉流、合流、转推以及录制的功能。关于owt-server的安装过程请参考我之前的文章编译和安装OWT-Server owt-server...
owt-server源码剖析(七)--MCU模式介绍
文艺小少年的博客
08-17 1268
本章会结合源码，详细介绍客户端如何接入owt，并且使用owt的MCU模式以及混屏流程
【OWT server】MCU：Video Agent 5: 帧编辑混画实现：cpp VideoFrameMixerImpl
突围
02-21 290
上一篇，我们看到了帧级别的编辑和混画的接口类 VideoFrameMixer.h 具体实现在 VideoFrameMixerImpl.h 包含编辑和混合 CompositeIn 编辑的输入 class CompositeIn : public owt_base::FrameDestination { public: CompositeIn(int index, const std::string& avatar, boost::shared_ptr<Vid...
【OWT server】MCU：Video Agent 2 ：输入管理InputManager
突围
07-14 230
输入源的管理功能 输入: 流id 映射到具体的输入对象 这些流有的pending有的free // Key: stream ID, Value: input-object this.inputs = {}; this.pendingInputs = {}; this.freeIndex = []; 输入源： var input = { id: this.freeIndex.pop(), // free中..
OWT Server video_agent源码分析
FM971的博客
05-18 939
发现阅读代码很容易忘记，所以想写文档，加深理解记忆。 一，VideoMixer创建过程 VideoMixer::VideoMixer(const VideoMixerConfig& config) : m_nextOutputIndex(0) , m_maxInputCount(16) { ...... m_frameMixer.reset(new VideoFrameMixerImpl(m_maxInputCount, rootSize, bgColor, true, confi
owt概览一
liuhongxian的专栏
06-23 6832
本文来自英特尔实时通信解决方案架构师 段先德在LiveVideoStackCon2019上海大会的分享，详细介绍了英特尔在进行分布式SFU/MCU媒体服务器的架构设计中秉持的一些设计原则以及关键问题的解决思路。 大家好，我是来自英特尔上海研发中心的段先德。从2014年开始主要做基于WebRTC的实时通信和统一通信解决方案。对于实时通讯来说WebRTC技术是一个革命性的存在。2014年4月英特尔发布了Intel® Collaboration Suite for WebRTC，这是一款可免费使用的包含服务器侧程
owt-server-p2p:OWT的P2P服务器。 （又名PeerServer）
05-15
打开WebRTC Toolkit P2P服务器 概述 Open WebRTC Toolkit P2P服务器是Open WebRTC Toolkit的默认信令服务器。 它提供了在不同客户端之间通过Socket.IO交换WebRTC信令消息的功能。 运行P2P服务器 安装依赖项 通过在P2P服务器的根目录中运行以下命令来安装节点依赖项。 npm install 跨域资源共享 P2P服务器可能部署在与网页不同的来源。 在这种情况下，跨域资源共享（CORS）用于指示允许哪些来源。 请将允许的来源添加到config.json 。 SSL / TLS 默认的普通端口是8095，默认的安全端口是8096。可以在文件config.json修改这些默认值。 建议使用安全的socket.io连接来连接服务器。 默认证书存储在cert目录中，其中包含两个文件： cert.pem和key.pem 。 请用
段先德-《如何构建一套Internet尺度上的弹性SFUMCU媒体服务器》_看图王.pdf
05-09
Intel 对于 OWT的规划，2019年Live Video Stack 上海的技术交流，
owt-server源码剖析(四)--video模块分析之Mixer Out
文艺小少年的博客
07-19 636
本篇文章会介绍video模块的最后一个部分，"VideoMixer Out"，涉及到合流，编码，输出给webrtc推流等功能
【owt server】【agent通信3】owt_base::RawTransport 实现tcp/udp传输调用
突围
07-13 281
owt-base的 InternalIn 类 owt-base的 InternalIn 类，调用 RawTransportInterface 传输。 in 主要监听端口。 通过onTransportData 获取媒体数据：TDT_MEDIA_FRAME。 调用方：addon中的 /Users/zhangbin/tet/licodelllcode/owtoffical/nd/rtc-server/source/agent/addons/internalIO/InternalInWrapper.cc vo
owt-server音视频转发示意图
chao3510的博客
07-11 437
owt-server版本v4.3.x
【OBS-WEBRTC】 OBS添加依赖OWT库
突围
02-26 677
本文是第一步：OBS 添加 依赖owt 库 1） 在OBS camke 工程里添加webrtc支持，暂不添加，如果添加可以参考： 2） OBS 输出 插件 依赖 OWT 偷懒，直接在VS工程里加入配置。 第二步,在这里：加入后调试：OWT的测试EXE 加载obs.dll和插件 加入后调试 通过obs engine sdk 把桥接 音视频到owt 依赖WEBRTC库 让obs 依赖于 owt-debug.lib WEBRTC 头文件： G:\GERRIT\s...
【owt-server】librtcadapter: VideoReceiveAdapter ：网络视频包接收、帧解码与分发
突围
07-20 367
【owt-server】librtcadapter：码率传输适配层 中了解了rtcdapter 各种组件 本文重点分析 VideoReceiveAdapterImpl 视频接受侧组件 G:\NDDEV\rtc-server\source\core\rtc_adapter\VideoReceiveAdapter.h VideoReceiveAdapterImpl 创建 VideoReceiveAdapterImpl ：实现传输、视频sink、视频解码 rtp rtcp 接受侧及请求关键帧。..
owt简单使用一(验证mcu，sfu)
liuhongxian的专栏
06-24 1661
owt简单使用 验证web视频，经过mcu 浏览器打开 https://localhost/:3004 验证sfu转发模式 浏览器 https://192.168.1.188:3004/?forward=true 同一个房间，同时mcu和sfu 页面分别 https://192.168.1.188:3004/?forward=true https://192.168.1.188:3004/ sfu mcu 说明同一房间可以同时支持sfu和mcu，这就非常灵活的支持各种终端了 交流 ..
【OWT-SERVER】APP 和portal
突围
01-25 1131
app启动后监听3004， portal 启动后监听8080 # Port that the socket.io server listens at. port = 8080 #default: 8080 root@ubuntuVmFusion:/home/zhangbin/simu/tyl-dist/dist/bin# lsof -i:8080 COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME node 4086 root 25u.
OWT Server 整体架构分析
彼此当年少，莫负好时光
09-12 4021
基础模块架构图 按自己的理解用 visio 大体画了一下。 前一篇博客讲过OWT Server是模块化的设计，不同模块可以分开部署，便于新手入门，下面画了OWT Server的一些基础模块（支持WebRTC开会）的框架图，如果把这几个模块搞清楚了，差不多对OWT Server也就理解了。 模块内部的 RPC 调用都是通过 RabbitMQ 消息队列实现的，都不是直接调用，即上图中 所有的虚线都是通过RabbitMQ间接通信的，而不是直接连接。 模块内部流交换（Internal IO）默认用的是
OWT WebRTC视频接口实战：创建、管理与操作详解
本资源主要介绍了如何通过OWT(One-Way Traffic)实现WebRTC（Real-Time Communication）视频的RESTful接口操作，这些接口用于管理会议、房间、视频流以及相关操作。以下是一些关键接口的详细说明： 1. **创建会议...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

等风来不如迎风去

你的鼓励是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值