【owt-server】Frame到Destination的数据转发

本文详细介绍了OWT Server中从MediaSource到FrameDestination的数据转发流程,涉及licode的MediaSource和MediaSink,以及OWT的MediaFramePipeline、FrameSource和FrameDestination。重点讨论了owtAVFrameConstructor和owtAVFramePacketizer的角色,以及如何通过Audio/VideoFrameConstructor和Audio/VideoFramePacketizer在发布端和订阅端之间建立关联。此外,还阐述了js层的createStreamPipeline和createFrameDestination的使用,以及如何通过connid进行发布和订阅操作。

licode的:MediaSource MediaSink

  • 二者是数据报级别的,用于 rtp包的传递。

  • Piasy 大神分析: 2020-05-26-OWT-Server-RTCP-Flow.md

  • 在 WebRtcConnection::onTransportData 收到数据后,会通过 SSRC 找到正确的 MediaStream,比如:

来自发布端 PC 的 RTP 包,应该交给 MediaSource SSRC 和 RTP 包头 SSRC(head->getSSRC())相同的 MediaStream(media_stream->isSourceSSRC(ssrc))(注意这里并不是 source 到 sink 的逻辑,而是把数据交给正确的 MediaStream(source),以便执行之后的「source 到 sink 的逻辑」);
来自发布端 PC 的 RTCP SR 包,应该交给 MediaSource SSRC 和 RTCP 包头 SSRC(head->getSSRC())相同的 MediaStream(media_stream->isSo

要让客户端接入 OWT-Server,首先需要理解其架构和通信机制。OWT-Server 是一个基于 WebRTC 的媒体服务器,支持多种终端(如 WebRTC 客户端、SIP 终端等)的音视频通信,并通过信令交互实现连接管理、媒体传输等功能。 ### 接入流程概述 1. **信令交互** OWT-Server 通过 WebRTC Portal 和 SIP Portal 与客户端进行信令交互,其中 WebRTC Portal 负责处理标准 WebRTC 协议的客户端连接[^3]。客户端在接入时需建立 WebSocket 连接至 OWT-Server 的信令通道,并使用其私有协议完成注册、加入会议、发布/订阅流等操作。 2. **身份验证与权限控制** 客户端在连接后通常需要进行身份验证,OWT-Server 支持基于 Token 的鉴权机制。开发者可以在服务端配置 Token 验证逻辑,确保只有合法用户才能接入。 3. **媒体协商与 ICE 流程** 在完成信令握手之后,客户端与 OWT-Server 之间将开始 SDP 协商,包括编解码器选择、网络候选(ICE)交换等步骤。OWT-Server 会根据客户端能力自动选择合适的媒体路径,例如是否启用 SFU(Selective Forwarding Unit)模式或 MCU(Multipoint Control Unit)模式。 4. **媒体流发布与订阅** 客户端可以通过 OWT-Server 提供的 API 发布本地媒体流(如摄像头或麦克风输入),也可以订阅其他客户端发布的远程流。OWT-Server 支持多种媒体拓扑结构,如 Peer-to-Peer、SFU、Hybrid 等,适用于不同规模的实时通信场景。 5. **自定义扩展与 SDK 使用** OWT 提供了 JavaScript SDK 和原生 C++ SDK,可用于构建 Web 或原生应用。开发者可基于现有工程(如 MFC 工程)集成 OWT 客户端库,并通过调用 SDK 提供的接口完成连接、媒体采集、渲染等操作。对于调试问题,如“换到笔记本后无法断点”,建议检查符号文件路径、构建配置是否一致,以及调试器设置是否正确[^1]。 ### 示例代码:WebRTC 客户端接入 OWT-Server 以下是一个使用 JavaScript SDK 接入 OWT-Server 的简单示例: ```javascript const client = new Owt.Base.Client(); // 连接到 OWT 服务器 client.connect('wss://your-owt-server:3000', 'your-token').then(() => { console.log('Connected to OWT server'); // 创建本地流(例如摄像头) return navigator.mediaDevices.getUserMedia({ video: true, audio: true }); }).then(stream => { // 发布本地流 return client.publish(new Owt.Base.Stream(stream)); }).then(publication => { console.log('Stream published:', publication.id); // 订阅远程流 client.subscribe('remote-stream-id').then(subscription => { console.log('Remote stream subscribed'); const remoteVideo = document.getElementById('remoteVideo'); remoteVideo.srcObject = subscription.stream; }); }).catch(error => { console.error('Error during connection or media handling:', error); }); ``` ### 注意事项 - 确保 OWT-Server 已正确部署并运行,且可通过目标地址访问。 - 检查防火墙、NAT 设置是否允许 WebSocket 及媒体流量通过。 - 若使用 HTTPS/WSS,需配置有效的证书以避免浏览器安全限制。 - 对于原生客户端(如 MFC 工程),应使用带符号的 Debug 构建版本以便调试,并确认 OWT 库路径及依赖项配置无误[^1]。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

等风来不如迎风去

你的鼓励是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值