owt-server编码h264的sps pps不固定的问题

转载请注明出处:https://blog.youkuaiyun.com/impingo
项目地址:https://github.com/im-pingo/pingos
项目官网:https://pingos.io

问题描述

最近使用owt-server转推rtmp到媒体服务器时出现hls播放无画面的情况。
并且,使用ffplay播放hls的时候,ffplay一直有如下错误输出:
在这里插入图片描述
从错误输出很明显看出是pps出了错,但是rtmp播放却没有任何问题。

问题分析

后来经过对rtmp码流分析发现h264的关键帧前的sps和pps在不停地变化,每次都不一样。
但是nginx-rtmp-module在封装ts包的时候会忽略关键帧前的sps和pps,只会从avc_header中提取sps pps拼接在关键帧前,然后再封装进ts包里。问题在于owt推送rtmp数据时只会在开始的时候发送一次avc_header,推送过程中即使sps pps发生变化也不会再更新avc_header,这就导致了媒体服务器上用来封装ts包的sps和pps是失效的。
这就是为什么rtmp可以正常播放,但是hls却没有画面的原因。

问题解决

owt之所以生成的h264数据sps pps不断变化,是因为它调用webrtc库的接口来对yuv进行编码,webrtc又调用openh264库进行编码。而openh264编码h264的时候默认是不固定sps pps的。
为了解决这个问题,需要修改webrtc源码,并且重新编译webrtc库。
openh264默认使用INCREASING_ID模式,也就是每个idr帧 ,sps和pps的id都会增加。我们需要做的是改为CONSTANT_ID模式就好了。
修改代码如下:
在这里插入图片描述

QQ交流群:697773082

微信(cczjp1989)

在这里插入图片描述

要让客户端接入 OWT-Server,首先需要理解其架构通信机制。OWT-Server 是一个基于 WebRTC 的媒体服务器,支持多种终端(如 WebRTC 客户端、SIP 终端等)的音视频通信,并通过信令交互实现连接管理、媒体传输等功能。 ### 接入流程概述 1. **信令交互** OWT-Server 通过 WebRTC Portal SIP Portal 与客户端进行信令交互,其中 WebRTC Portal 负责处理标准 WebRTC 协议的客户端连接[^3]。客户端在接入时需建立 WebSocket 连接至 OWT-Server 的信令通道,并使用其私有协议完成注册、加入会议、发布/订阅流等操作。 2. **身份验证与权限控制** 客户端在连接后通常需要进行身份验证,OWT-Server 支持基于 Token 的鉴权机制。开发者可以在服务端配置 Token 验证逻辑,确保只有合法用户才能接入。 3. **媒体协商与 ICE 流程** 在完成信令握手之后,客户端与 OWT-Server 之间将开始 SDP 协商,包括编解码器选择、网络候选(ICE)交换等步骤。OWT-Server 会根据客户端能力自动选择合适的媒体路径,例如是否启用 SFU(Selective Forwarding Unit)模式或 MCU(Multipoint Control Unit)模式。 4. **媒体流发布与订阅** 客户端可以通过 OWT-Server 提供的 API 发布本地媒体流(如摄像头或麦克风输入),也可以订阅其他客户端发布的远程流。OWT-Server 支持多种媒体拓扑结构,如 Peer-to-Peer、SFU、Hybrid 等,适用于同规模的实时通信场景。 5. **自定义扩展与 SDK 使用** OWT 提供了 JavaScript SDK 原生 C++ SDK,可用于构建 Web 或原生应用。开发者可基于现有工程(如 MFC 工程)集成 OWT 客户端库,并通过调用 SDK 提供的接口完成连接、媒体采集、渲染等操作。对于调试问题,如“换到笔记本后无法断点”,建议检查符号文件路径、构建配置是否一致,以及调试器设置是否正确[^1]。 ### 示例代码:WebRTC 客户端接入 OWT-Server 以下是一个使用 JavaScript SDK 接入 OWT-Server 的简单示例: ```javascript const client = new Owt.Base.Client(); // 连接到 OWT 服务器 client.connect('wss://your-owt-server:3000', 'your-token').then(() => { console.log('Connected to OWT server'); // 创建本地流(例如摄像头) return navigator.mediaDevices.getUserMedia({ video: true, audio: true }); }).then(stream => { // 发布本地流 return client.publish(new Owt.Base.Stream(stream)); }).then(publication => { console.log('Stream published:', publication.id); // 订阅远程流 client.subscribe('remote-stream-id').then(subscription => { console.log('Remote stream subscribed'); const remoteVideo = document.getElementById('remoteVideo'); remoteVideo.srcObject = subscription.stream; }); }).catch(error => { console.error('Error during connection or media handling:', error); }); ``` ### 注意事项 - 确保 OWT-Server 已正确部署并运行,且可通过目标地址访问。 - 检查防火墙、NAT 设置是否允许 WebSocket 及媒体流量通过。 - 若使用 HTTPS/WSS,需配置有效的证书以避免浏览器安全限制。 - 对于原生客户端(如 MFC 工程),应使用带符号的 Debug 构建版本以便调试,并确认 OWT 库路径及依赖项配置无误[^1]。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值