wvp-GB28181-pro 源码分析-点播流程（三）

已于 2024-11-13 22:21:30 修改
阅读量2.2k 收藏 32
点赞数 34
分类专栏： 视频流处理 文章标签： WVP-GB28181-pro
于 2024-06-21 13:13:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bacawa/article/details/139835117
版权

文章目录

  • 一 、28181-2016标准文档中的点播流程
  • 二 、点播流程源码分析
    • 2.1 页面发起点播请求
    • 2.2 与ZLM协商SSRC信息
    • 2.3 订阅zlmediakit的hook消息及发送invite信令
    • 2.4 处理invite信令响应并应答
    • 2.5 收到ZLM的推流通知
    • 2.6 播放成功
    • 2.7 停止点播流程

2024年6月20日下载的wvp-GB28181-pro，版本号为2.7.2，使用ZLMediakit主干版本。

本节阐述wvp摄像机点播流程。

一 、28181-2016标准文档中的点播流程

在这里插入图片描述
图中的媒体接收者，SIP服务器，媒体服务器和媒体发送者都是逻辑模块，在实际上可以不按照这样的步骤来完成。媒体发送者是摄像机，而媒体接收者、SIP服务器和媒体服务器是wvp和zlmediakit组成，wvp和zlmediakit内部之间通信并没有按照28181的步骤来，wvp只要实现上图的第4、5、7、19、20就可以播放视频和停止播放。至于网页、wvp跟zlmediakit之间是按照自己的私有接口格式来完成的。

附上wvp的点播流程图，可以对比分析下。
在这里插入图片描述

二 、点播流程源码分析

2.1 页面发起点播请求

接口控制类PlayController在如下包路径下：

com.genersoft.iot.vmp.vmanager.gb28181.play

在这里插入图片描述
调用playService.play(MediaServer mediaServerItem, String deviceId, String channelId, String ssrc, ErrorCallback callback)，进入PlayServiceImpl类，在如下的包路径下：

com.genersoft.iot.vmp.service.impl

核心方法源码

    @Override
    public SSRCInfo play(MediaServer mediaServerItem, String deviceId, String channelId, String ssrc, ErrorCallback<Object> callback) {
        if (mediaServerItem == null) {
            logger.warn("[点播] 未找到可用的zlm deviceId: {},channelId:{}", deviceId, channelId);
            throw new ControllerException(ErrorCode.ERROR100.getCode(), "未找到可用的zlm");
        }
        Device device = redisCatchStorage.getDevice(deviceId);
        if (device.getStreamMode().equalsIgnoreCase("TCP-ACTIVE") && !mediaServerItem.isRtpEnable()) {
            logger.warn("[点播] 单端口收流时不支持TCP主动方式收流 deviceId: {},channelId:{}", deviceId, channelId);
            throw new ControllerException(ErrorCode.ERROR100.getCode(), "单端口收流时不支持TCP主动方式收流");
        }
        DeviceChannel channel = channelService.getOne(deviceId, channelId);
        if (channel == null) {
            logger.warn("[点播] 未找到通道 deviceId: {},channelId:{}", deviceId, channelId);
            throw new ControllerException(ErrorCode.ERROR100.getCode(), "未找到通道");
        }
        InviteInfo inviteInfo = inviteStreamService.getInviteInfoByDeviceAndChannel(InviteSessionType.PLAY, deviceId, channelId);
        if (inviteInfo != null ) {
            if (inviteInfo.getStreamInfo() == null) {
                // 释放生成的ssrc，使用上一次申请的
                ssrcFactory.releaseSsrc(mediaServerItem.getId(), ssrc);
                // 点播发起了但是尚未成功, 仅注册回调等待结果即可
                inviteStreamService.once(InviteSessionType.PLAY, deviceId, channelId, null, callback);
                logger.info("[点播开始] 已经请求中，等待结果， deviceId: {}, channelId: {}", device.getDeviceId(), channelId);
                return inviteInfo.getSsrcInfo();
            }else {
                StreamInfo streamInfo = inviteInfo.getStreamInfo();
                String streamId = streamInfo.getStream();
                if (streamId == null) {
                    callback.run(InviteErrorCode.ERROR_FOR_CATCH_DATA.getCode(), "点播失败， redis缓存streamId等于null", null);
                    inviteStreamService.call(InviteSessionType.PLAY, device.getDeviceId(), channelId, null,
                            InviteErrorCode.ERROR_FOR_CATCH_DATA.getCode(),
                            "点播失败， redis缓存streamId等于null",
                            null);
                    return inviteInfo.getSsrcInfo();
                }
                String mediaServerId = streamInfo.getMediaServerId();
                MediaServer mediaInfo = mediaServerService.getOne(mediaServerId);
                Boolean ready = mediaServerService.isStreamReady(mediaInfo, "rtp", streamId);
                if (ready != null && ready) {
                    callback.run(InviteErrorCode.SUCCESS.getCode(), InviteErrorCode.SUCCESS.getMsg(), streamInfo);
                    inviteStreamService.call(InviteSessionType.PLAY, device.getDeviceId(), channelId, null,
                            InviteErrorCode.SUCCESS.getCode(),
                            InviteErrorCode.SUCCESS.getMsg(),
                            streamInfo);
                    logger.info("[点播已存在] 直接返回， deviceId: {}, channelId: {}", device.getDeviceId(), channelId);
                    return inviteInfo.getSsrcInfo();
                }else {
                    // 点播发起了但是尚未成功, 仅注册回调等待结果即可
                    inviteStreamService.once(InviteSessionType.PLAY, deviceId, channelId, null, callback);
                    storager.stopPlay(streamInfo.getDeviceID(), streamInfo.getChannelId());
                    inviteStreamService.removeInviteInfoByDeviceAndChannel(InviteSessionType.PLAY, deviceId, channelId);
                }
            }
        }
        String streamId = String.format("%s_%s", device.getDeviceId(), channelId);
        /**
        * 与ZLM协商SSRC信息
        */
        SSRCInfo ssrcInfo = mediaServerService.openRTPServer(mediaServerItem, streamId, ssrc, device.isSsrcCheck(),  false, 0, false, !channel.getHasAudio(), false, device.getStreamModeForParam());
        if (ssrcInfo == null) {
            callback.run(InviteErrorCode.ERROR_FOR_RESOURCE_EXHAUSTION.getCode(), InviteErrorCode.ERROR_FOR_RESOURCE_EXHAUSTION.getMsg(), null);
            inviteStreamService.call(InviteSessionType.PLAY, device.getDeviceId(), channelId, null,
                    InviteErrorCode.ERROR_FOR_RESOURCE_EXHAUSTION.getCode(),
                    InviteErrorCode.ERROR_FOR_RESOURCE_EXHAUSTION.getMsg(),
                    null);
            return null;
        }
        /**
        * 干两件事 1：订阅ZLM Hook信息；2：向设备发送invite信令，携带ZLM协商好的SSRC信息
        */
        play(mediaServerItem, ssrcInfo, device, channel, callback);
        return ssrcInfo;
    }

2.2 与ZLM协商SSRC信息

关键代码其实就是调用下面这句代码（上文中有注释，往上翻一翻），调用ZLM的API，获取视频流的端口，将来摄像机将视频流推送到此端口。
在这里插入图片描述
具体实现逻辑，核心就是与ZLM协商一个可用的SSRC信息，包括端口号，ssrc值等信息。
在这里插入图片描述

2.3 订阅zlmediakit的hook消息及发送invite信令

就是下面这句核心代码（往上翻，有注释），实际上干了两件核心的事情，一个就是订阅ZLM hook消息，一个就是向设备发送invite信令消息。
在这里插入图片描述

  1. 订阅zlmediakit的hook消息，zlmediakit收到流后，会往wvp发消息。
    在这里插入图片描述

  2. 发送invite请求还在 playStreamCmd方法体中在这里插入图片描述
    这里可以参考本文章的两个流程图，如果参考标准的GB流程，那么就对应步骤4；或者看wvp的流程图，对应步骤2。invite请求的sdp信息带有zlmediakit的IP和刚才获取到的视频流端口。

2.4 处理invite信令响应并应答

处理invite信令，对应GB的流程5，应答，对应GB流程7；如果是wvp的流程图，处理对应流程2，应答对应流程4。别搞混了啊。
处理类是InviteResponseProcessor，对应的包路径如下：

com.genersoft.iot.vmp.gb28181.transmit.event.response.impl

/**
	 * 处理invite响应
	 * 
	 * @param evt 响应消息
	 * @throws ParseException
	 */
	@Override
	public void process(ResponseEvent evt ){
		logger.debug("接收到消息：" + evt.getResponse());
		try {
			SIPResponse response = (SIPResponse)evt.getResponse();
			int statusCode = response.getStatusCode();
			// trying不会回复
			if (statusCode == Response.TRYING) {
			}
			// 成功响应
			// 下发ack
			if (statusCode == Response.OK) {
				ResponseEventExt event = (ResponseEventExt)evt;

				String contentString = new String(response.getRawContent());
				Gb28181Sdp gb28181Sdp = SipUtils.parseSDP(contentString);
				SessionDescription sdp = gb28181Sdp.getBaseSdb();
				SipURI requestUri = SipFactory.getInstance().createAddressFactory().createSipURI(sdp.getOrigin().getUsername(), event.getRemoteIpAddress() + ":" + event.getRemotePort());
				Request reqAck = headerProvider.createAckRequest(response.getLocalAddress().getHostAddress(), requestUri, response);

				logger.info("[回复ack] {}-> {}:{} ", sdp.getOrigin().getUsername(), event.getRemoteIpAddress(), event.getRemotePort());
				sipSender.transmitRequest( response.getLocalAddress().getHostAddress(), reqAck);
			}
		} catch (InvalidArgumentException | ParseException | SipException | SdpParseException e) {
			logger.info("[点播回复ACK]，异常：", e );
		}
	}

逻辑不难，应该可以看的明白。

2.5 收到ZLM的推流通知

wvp收到zlmediakit的流消息后，回调到 PlayServiceImpl
在这里插入图片描述
通过callback继续回调到PlayController
在这里插入图片描述
通过以上步骤，最终把播放流媒体的地址应答回到网页端。

2.6 播放成功

在这里插入图片描述

2.7 停止点播流程

明白了开始点播的流程，停止点播再回头看起来就容易多了。对应流程步骤的BYE信令，就不一一列举了。
关键步骤我给截出来，方便大家梳理流程
在这里插入图片描述
请看代码注释

    @Override
    public void stopPlay(Device device, String channelId) {
        InviteInfo inviteInfo = inviteStreamService.getInviteInfoByDeviceAndChannel(InviteSessionType.PLAY, device.getDeviceId(), channelId);
        if (inviteInfo == null) {
            throw new ControllerException(ErrorCode.ERROR100.getCode(), "点播未找到");
        }
        if (InviteSessionStatus.ok == inviteInfo.getStatus()) {
            try {
                logger.info("[停止点播] {}/{}", device.getDeviceId(), channelId);
                //这句是核心，调用ZLM API来关闭zlmediakit的rtp服务，发bye命令给摄像机
                cmder.streamByeCmd(device, channelId, inviteInfo.getStream(), null, null);
            } catch (InvalidArgumentException | SipException | ParseException | SsrcTransactionNotFoundException e) {
                logger.error("[命令发送失败] 停止点播， 发送BYE: {}", e.getMessage());
                throw new ControllerException(ErrorCode.ERROR100.getCode(), "命令发送失败: " + e.getMessage());
            }
        }
        inviteStreamService.removeInviteInfoByDeviceAndChannel(InviteSessionType.PLAY, device.getDeviceId(), channelId);
        storager.stopPlay(device.getDeviceId(), channelId);
        channelService.stopPlay(device.getDeviceId(), channelId);
        //这句我考虑是为了保险，非空再关闭一次
        if (inviteInfo.getStreamInfo() != null) {
            mediaServerService.closeRTPServer(inviteInfo.getStreamInfo().getMediaServerId(), inviteInfo.getStream());
        }
    }

WVP和ZLM之间的通信没有完全按照GB的协议来走，好多都是直接相互调用API来操作。源码中有注释，自己看吧。

    /**
     * 视频流停止
     */
    @Override
    public void streamByeCmd(Device device, String channelId, String stream, String callId, SipSubscribe.Event okEvent) throws InvalidArgumentException, SipException, ParseException, SsrcTransactionNotFoundException {
        if (device == null) {
            logger.warn("[发送BYE] device为null");
            return;
        }
        List<SsrcTransaction> ssrcTransactionList = streamSession.getSsrcTransactionForAll(device.getDeviceId(), channelId, callId, stream);
        if (ssrcTransactionList == null || ssrcTransactionList.isEmpty()) {
            logger.info("[发送BYE] 未找到事务信息,设备： device: {}, channel: {}", device.getDeviceId(), channelId);
            throw new SsrcTransactionNotFoundException(device.getDeviceId(), channelId, callId, stream);
        }

        for (SsrcTransaction ssrcTransaction : ssrcTransactionList) {
            logger.info("[发送BYE] 设备： device: {}, channel: {}, callId: {}", device.getDeviceId(), channelId, ssrcTransaction.getCallId());
            //释放ssrc
            mediaServerService.releaseSsrc(ssrcTransaction.getMediaServerId(), ssrcTransaction.getSsrc());
        	//调用ZLM API来关闭流，具体可以跟下去看
            mediaServerService.closeRTPServer(ssrcTransaction.getMediaServerId(), ssrcTransaction.getStream());
            streamSession.removeByCallId(ssrcTransaction.getDeviceId(), ssrcTransaction.getChannelId(), ssrcTransaction.getCallId());
            Request byteRequest = headerProvider.createByteRequest(device, channelId, ssrcTransaction.getSipTransactionInfo());
            //给设备发送BYE信令
            sipSender.transmitRequest(sipLayer.getLocalIp(device.getLocalIp()), byteRequest, null, okEvent);
        }
    }

本节点播流程及停止点播流程梳理完毕！

wvp-gb28181-pro和ZLMediakit开发入门笔记——点播流程（三）
chc_office的博客
07-06 2358
本节阐述wvp摄像机点播流程。
Ubuntu：wvp-GB28181-pro安装、运行
柳鲲鹏
02-20 367
数据库/2.7.3/初始化-postgresql-kingbase-2.7.3.sql。用户名、密码：admin:admin。我使用postgresql，安装。注意id/secret的配置。
wvp-gb28181-pro 源码分析一 MediaServer 启动时
chsh4587的专栏
03-05 1319
wvp-gb28181-por 源码解读一
WVP-PRO与ZLM部署连接踩坑记录
qq_39558519的博客
08-08 5672
4.启动wvp的时候，出现了启动成功但是连接zlm失败的情况，后发现为：我的zlm是docker部署的，因此需要配置config文件中的allow_ip_range参数，将本机的ip地址配置进去，否则连不上。2.ZLM的config文件所需要修改的参数如下：secret，mediaServerId，http-port（可不改）1.部署ZLM时，config文件中的secret不能是默认的，否则会报错。
wvp-GB28181-pro 源码分析-服务启动流程及IPC注册（一）
bacawa的博客
06-19 2602
wvp源码分析，服务启动顺序及IPC设备注册流程
wvp-GB28181-pro 源码分析-查询设备信息和通道流程（二）
bacawa的博客
06-20 2048
wvp-GB28181-pro 源码分析-查询设备信息和通道流程
【流媒体视频监控平台开发wvp-GB28181-pro】
m0_38110240的博客
04-04 7927
学习原因：需要开发一款视频监控集中平台，兼容海康、大华等视频厂家NVR和摄像头，共几百套设备，但是不需要每天实时监控，基本上每个NVR和摄像头每天观看1次左右，同时可以控制云台和回放，需要兼容大部分浏览器，可节约服务器资源。海康、大华WEB控件开发问题很多，谷歌不能装插件，型号有些不兼容，插件卡死，视频预览回放无进度条，十分不方便。（主要是客户不太满意，又不多给点钱买服务器）1.原有视频监控，基于海康、大华web控件和SDK2.开源wvp-GB28181-pro。
java：wvp-GB28181-pro
OceanStar的博客
05-24 8876
准备 服务运行环境，Linux / OS X / Windows 均可，我的是 ubuntu 海康/大华云台摄像头一个 运行 sip 服务 WVP https://github.com/swwheihei/wvp-GB28181 运行流媒体服务 ZLMediaKit https://github.com/xiongziliang/ZLMediaKit 文章目录准备运行流媒体服务器ZLMediaKit怎么运行windows版本&&linux版本docket版本使用单个端口接收视频流zml后
WVP-GB28181-PRO 编译+部署+问题排查整理 综合指南
xiaoshuaijinniu的博客
11-28 3973
WEB VIDEO PLATFORM是一个基于GB28181-2016标准实现的开箱即用的网络视频平台，负责实现核心信令与设备管理后台部分，支持NAT穿透，支持海康、大华、宇视等品牌的IPC、NVR接入。支持国标级联，支持将不带国标功能的摄像机/直播流/直播推流转发到其他国标平台。
wvp-GB28181-pro 适配支持 SQlite3 数据库 支持wvp-GB28181-pro 2.6.9
02-28
wvp-GB28181-pro 适配支持 SQlite3 数据库 支持wvp-GB28181-pro 2.6.9
wvp-GB28181_wvp-gb28181_wvpgb28181_GB28181_
10-04
《GB28181标准在wvp-GB28181系统中的实现与应用》 GB28181，全称为《信息技术 广播电视系统和互联网视频监控系统互联互通技术要求》，是中国国家信息化标准，旨在规范国内各视频监控系统之间的互联互通，促进资源...
wvp-GB28181-pro-2.7.2jar包
06-07
【标题】"wvp-GB28181-pro-2.7.2jar包" 涉及的关键技术是GB28181标准、WVP（视频监控平台）和Java开发的程序包（jar文件）。GB28181是中国国家针对IP视频监控系统制定的一套统一标准，它规定了设备间的互联互通、...
wvp-GB28181-pro及ZLMediaKit打包好的安装脚本
06-27
wvp-GB28181-pro直装版，内附安装说明，安装的时候参考说明去安装，正常情况下只需修改wvp-GB28181-pro的配置文件内的ip即可正常接入GB28181摄像头，里面功能都可正常使用。mysql,redis,jdk都附带了脚本直装，安装...
Ubuntu搭建国标平台wvp-GB28181-pro
fedorayang的专栏
01-29 5381
官网wvp-GB28181-pro:流媒体服务器:WVP-PRO使用Spring boot开发，maven管理依赖。参考官网既可安装部署.为了方便搭建,开源软件以后修改可能导致配置失败,把ZLMediaKit和wvp-GB28181-pro配置文件和项目commit ID记录到仓库中.
开箱即用的流媒体管理系统wvp-GB28181-pro 基于ZLMediaKit
coderYJ的博客
08-29 6521
ZLMediaKit wvp-GB28181-pro 开箱即用的流媒体
wvp-GB28181-pro录像功能开发环境搭建、配置、使用
zengliguang的专栏
05-07 1万+
ffmpeg默认安装位置/usr/bin/ffmpeg ，ffprobe默认安装位置/usr/bin/ffprobe。WVP-PRO与ZLM支持分开部署，但是wvp-pro-assist必须与zlm部署在同一台主机;修改路径权限：chmod 777 -R /home/zenglg。输入拉流代理信息： 关键信息是拉流地址，其他可以随便选择，不是重点。assist和zlmediakit配置相同路径，路径权限要可写入。先开始实时预览，录像存储路径下应该会产生文件。18081表示启用，0表示不启用。
wvp-GB28181-pro 编译部署ubuntu系统【详细教程】
热门推荐
KIDfengKID的博客
11-16 1万+
wvp-GB28181-pro 编译部署ubuntu系统
wvp-GB28181-pro /ZLMediaKit 部署学习
成长的笨熊
07-14 1174
wvp-GB28181-pro /ZLMediaKit 部署学习
wvp-gb28181-pro和ZLMediakit开发入门笔记——查询设备信息和通道流程（二）
chc_office的博客
07-04 2668
本节阐述sip通信步骤对应到wvp-gb28181-Pro中的代码。
挤塑板生产用造型机sw18_三维3D设计图纸_包括零件图_机械3D图可修改打包下载_三维3D设计图纸_包括零件图_机械3D图可修改打包下载.zip
最新发布
04-09
挤塑板生产用造型机sw18_三维3D设计图纸_包括零件图_机械3D图可修改打包下载_三维3D设计图纸_包括零件图_机械3D图可修改打包下载.zip
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值