轻松实现其他协议到Gb28181协议的转换网关(onvif转GB28181)

       为了实现视频网络的互联互通,打破信息孤岛,国家慢慢要求各行各业视频监控支持GB28181协议,但是有很多以前就已经安装部署的老摄像头,不支持GB28181协议,怎么办呢?

       我们可以采用视频媒体和协议的转换网关,实现视频源设备非国标到GB28181的转换。是的,没有看错,只需要一个软件网关。onvif作为国际标准协议,很多老摄像头是支持onvif协议的,我们本章以onvif协议的设备为例,讲一下如何转gb28181。

       一.实现onvif设备的查找

           onvif设备的查找是标准的onvif协议的部分,我们使用gsoap库和onvif项目的wdsl进行编译,编译方法网上很多,我会把编译好的onvif协议的c++代码工程文件发布到本站的下载站上,这里我们还是只讲重点和核心。首先初始化soap协议,代码如下:

SYONVIF_API void* SoapInit(char* szIP)
{
	struct soap *tsoap;
	tsoap = soap_new();
	if (!tsoap)
	{
		return tsoap;
	}

	// 想绑定的IP地址
	struct in_addr if_req;
	if_req.s_addr = inet_addr(szIP);    
	tsoap->ipv4_multicast_if = (char*)soap_malloc(tsoap, sizeof(in_addr));
	memset(tsoap->ipv4_multicast_if, 0, sizeof(in_addr));
	memcpy(tsoap->ipv4_multicast_if, (char*)&if_req, sizeof(if_req));

	//超时时间,当达到10秒没有发现设备时,自动返回
	tsoap->recv_timeout = 5;
	soap_set_namespaces(tsoap, namespaces);

	return tsoap;
}

szIP是onvif网内的ip,注意可能会有多网卡,那么你需要传入对应局域网的IP,初始化完成后是设备的发现,onvif设备的发现原理是发送广播,代码如下:


//查找onvif设备
SYONVIF_API int onvif_DiscoveryDevice(void* isoap, vector<string>& onvif_urls)
{
	int result = 0;

	struct wsdd__ProbeType req;
	struct __wsdd__ProbeMatches resp;
	struct wsdd__ScopesType sScope;
	struct SOAP_ENV__Header header;

	struct soap *tsoap = (struct soap *)isoap;

	soap_default_SOAP_ENV__Header(tsoap, &header);

	//生成唯一的messageid
	uuid_t uuid;
	unsigned char *guid_string = NULL;    
	UuidCreate(&uuid);
	UuidToStringA(&uuid, &guid_string);
	header.wsa__MessageID = (char *)malloc(100);
	sprintf_s(header.wsa__MessageID, 100, "uuid:%s", (char *)guid_string);
	header.wsa__To = "urn:schemas-xmlsoap-org:ws:2005:04:discovery";
	header.wsa__Action = "http://schemas.xmlsoap.org/ws/2005/04/discovery/Probe";
	tsoap->header = &header;

	soap_default_wsdd__ScopesType(tsoap, &sScope);
	sScope.__item = ""; 
	soap_default_wsdd__ProbeType(tsoap, &req);
	req.Scopes = &sScope;

	req.Types = "";   
	int i = 0;
	//发送UDP广播
	result = soap_send___wsdd__Probe(tsoap, "soap.udp://239.255.255.250:3702", NULL, &req);
	//接收数据
	if (result == SOAP_OK)
	{
		result = soap_recv___wsdd__ProbeMatches(tsoap, &resp);
		if (result == SOAP_OK)
		{
			if (tsoap->error)
			{

				result = tsoap->error;
			}
			else
			{
				//发现设备
				for (i = 0; i < resp.wsdd__ProbeMatches->__sizeProbeMatch; i++)
				{
					onvif_urls.push_back(resp.wsdd__ProbeMatches->ProbeMatch[i].XAddrs);
				}
				result = resp.wsdd__ProbeMatches->__sizeProbeMatch;
			}
		}
		else if (tsoap->error)
		{
			result = tsoap->error;
		}
	}
	free(header.wsa__MessageID);
	return result;
}

 设备发现后,需要获取每个设备的媒体信息,或者就是rtsp或http的url,代码如下:

int onvif_GetUri(void* isoap, char* capa_url, char* sztoken, char* user, char* pwd, char* szuri)
{
	int result = 0;

	struct soap *tsoap = (struct soap *)isoap;

	struct _trt__GetStreamUri trt__GetStreamUri;
	struct _trt__GetStreamUriResponse trt__GetStreamUriResponse;
	tt__MediaUri MediaUri;
	tt__StreamSetup StreamSetup;
	tt__Transport Transport;

	memset(&trt__GetStreamUri, 0, sizeof(_trt__GetStreamUri));
	memset(&trt__GetStreamUriResponse, 0, sizeof(_trt__GetStreamUriResponse));
	memset(&MediaUri, 0, sizeof(tt__MediaUri));
	memset(&StreamSetup, 0, sizeof(tt__StreamSetup));
	memset(&Transport, 0, sizeof(tt__Transport));

	trt__GetStreamUriResponse.MediaUri = &MediaUri;
	StreamSetup.Stream = tt__StreamType__RTP_Unicast;
	Transport.Protocol = tt__TransportProtocol__RTSP;
	StreamSetup.Transport = &Transport;
	trt__GetStreamUri.StreamSetup = &StreamSetup;
	trt__GetStreamUri.ProfileToken = sztoken;//nMediaType=0 主码流	nMediaType=1 子码流


	soap_wsse_add_UsernameTokenDigest(tsoap, "user", user, pwd);
	soap_call___trt__GetStreamUri(tsoap, capa_url, NULL, &trt__GetStreamUri, &trt__GetStreamUriResponse);

	if (tsoap->error && tsoap->status != 200)
	{
		return -1;
	}
	else
	{
		sprintf(szuri,"%s", trt__GetStreamUriResponse.MediaUri->Uri);
		return 0;
	}

}

       上面这个函数最后一个参数返回的就是onvif摄像头的rtsp地址,到这里我们完成了第一步的目的。

 

二.注册gb28181服务

      之前我们获取了onvif设备的媒体地址(rtsp地址),我们可以获取该设备的音视频媒体流,那么我们需要以gb28181协议注册到服务器上即可,然后再响应客户端的invite协议,心跳协议等。

     对于gb28181我们采用开源resip库进行封装,主要代码如下:

	gbt::GbtDeviceAgent& agent = getAgent();
	agent.setMessageHandler(this);
	agent.setSink(this);
	agent.setPlaybackHandler(this);

	agent.setRegTime(3600);
	agent.setUserAgent("SyGbtDevice");
	agent.setHeartBeat(m_heartBeatInterval, m_heartBeatCount);

	GBT_Catalog catalog = GBT_Catalog();
	comn::copyStr(catalog.name, "onvif转GB28181网关");
	//comn::copyStr(catalog.deviceID, m_server.username);
	agent.setCatalog(catalog);

	int ret = agent.open(m_ip.c_str(), m_port, m_server);

 注册上去后,客户端就可以看到设备在线,可以发送invite进行点播了,还是发一张图,这样可以让大家看的更加直观:

上图是我搜索的安讯士的onvif摄像机,然后注册到国标上,为了方便直观专门编一个windows版的。

如果遇到类似场景,可以到到此下载地址下载和交流。

### LlamaIndex 多模态 RAG 实现 LlamaIndex 支持多种数据类型的接入与处理,这使得它成为构建多模态检索增强生成(RAG)系统的理想选择[^1]。为了实现这一目标,LlamaIndex 结合了不同种类的数据连接器、索引机制以及强大的查询引擎。 #### 数据连接器支持多样化输入源 对于多模态数据的支持始于数据收集阶段。LlamaIndex 的数据连接器可以从多个异构资源中提取信息,包括但不限于APIs、PDF文档、SQL数据库等。这意味着无论是文本还是多媒体文件中的内容都可以被纳入到后续的分析流程之中。 #### 统一化的中间表示形式 一旦获取到了原始资料之后,下一步就是创建统一而高效的内部表达方式——即所谓的“中间表示”。这种转换不仅简化了下游任务的操作难度,同时也提高了整个系统的性能表现。尤其当面对复杂场景下的混合型数据集时,良好的设计尤为关键。 #### 查询引擎助力跨媒体理解能力 借助于内置的强大搜索引擎组件,用户可以通过自然语言提问的形式轻松获得所需答案;而对于更复杂的交互需求,则提供了专门定制版聊天机器人服务作为补充选项之一。更重要的是,在这里实现了真正的语义级关联匹配逻辑,从而让计算机具备了一定程度上的‘认知’功能去理解和回应人类意图背后所蕴含的意义所在。 #### 应用实例展示 考虑到实际应用场景的需求多样性,下面给出一段Python代码示例来说明如何利用LlamaIndex搭建一个多模态RAG系统: ```python from llama_index import GPTSimpleVectorIndex, SimpleDirectoryReader, LLMPredictor, PromptHelper, ServiceContext from langchain.llms.base import BaseLLM import os def create_multi_modal_rag_system(): documents = SimpleDirectoryReader(input_dir='./data').load_data() llm_predictor = LLMPredictor(llm=BaseLLM()) # 假设已经定义好了具体的大型预训练模型 service_context = ServiceContext.from_defaults( chunk_size_limit=None, prompt_helper=PromptHelper(max_input_size=-1), llm_predictor=llm_predictor ) index = GPTSimpleVectorIndex(documents, service_context=service_context) query_engine = index.as_query_engine(similarity_top_k=2) response = query_engine.query("请描述一下图片里的人物表情特征") print(response) ``` 此段脚本展示了从加载本地目录下各类格式文件开始直到最终完成一次基于相似度排序后的top-k条目返回全过程。值得注意的是,“query”方法接收字符串参数代表使用者想要询问的内容,而在后台则会自动调用相应的解析模块并结合先前准备好的知识库来进行推理计算得出结论。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值