大数据集群巡检

本文介绍了大数据集群巡检过程中遇到的问题,包括HDFS小文件过多、DNS域名解析不全、HDFS块计数报警频繁、Namenode堆内存设置过小、Hive表分区过多以及内存超配等问题。为了解决这些问题,提出了优化方案,如定期清理小文件、完善DNS配置、调整报警阈值、增加Namenode堆内存和合理规划Hive表分区。同时,文章还探讨了实现大数据中心实时自动巡检的系统,通过目标集群操作权限控制巡检范围,结合巡检脚本库生成单节点巡检脚本包,执行操作系统和数据库的巡检,提高巡检的全面性和效率。该系统通过自动化手段提高了巡检效率,确保了数据安全性和系统稳定性。

公司使用的大数据集群是Cloudera,定期巡检,还是查出不少问题,后面进行优化。 Hadoop集群日常维护-总结

发现主要的几个问题如下,

1. HDFS 小文件过多
小文件问题是目前HDFS上存在的最大问题。可以使用hadoop fs -count命令,简单统计下文件数量较多的目录。

小文件很多是临时文件,建议定期清理。并检查业务逻辑,主要是什么导致的小文件过多,看能否通过修改处理逻辑来避免。

2. DNS域名解析不全
很多新加的边缘节点,没有配置全部的host,导致集群内部解析不全。虽不影响程序运行,但是建议配置完全的host。

3. HDFS块计数报警过于频繁
块计数报警: 默认hdfs的datanode的块超过50W就会触发对应块计数报警,基于集群的现状,建议将报警阈值调整到100W即可。

4. Namenode的堆内存设置过小
Namenode的堆内存设置过小,导致GC频繁,根据机器内存情况,建议适当增大至16G。

5. Hive中有些表的分区过多
Hive中有些表的分区过多,超过1000。分区过多会导致查询性能下降,建议避免过多分区。

6. 内存超配
集群内部有内存超配的现象,就是分配的内存超过最大内存的阈值。这样会导致资源竞争,或者任务误杀的情况发生。建议任务合理分配,不要超过最大内存。

1、问题:

dfs.data.dir设置的路径值造成磁盘空间100%

解决:

移动此路径值到新路径下,建立软链接

mv /data1/DfsDataDir /data/hdfs/data1 
ln -s /data/hdfs/data1/DfsDataDir ./DfsDataDir

 

可实现对大数据中心进行实时自动巡检的系统及其方法与流程

1.本发明涉及大数据领域,具体为可实现对智慧校园大数据中心进行实时自动巡检的系统及其方法。

背景技术:

2.大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
3.而现有对大数据中心进行实时自动巡检的系统及其方法,没有结合自动巡检设备三维数字巡视路线形象直观地展现巡视过程,不能很好地使用户实现巡视系统的远程监视,同时不具有良好的作业习惯溯源性和延续性,不可以使智慧校园护线人员在应用过程中无缝链接,存在一定的弊端,为此,我们提出可实现对大数据中心进行实时自动巡检的系统及其方法。


技术实现要素:

4.针对现有技术的不足,本发明提供了可实现对大数据中心进行实时自动巡检的系统及其方法,解决云计算方法不能够满足大数据的用户行为计算的实时性,防止了数据中断与不稳定的问题。
5.本发明提供如下技术方案:可实现对大数据中心进行实时自动巡检的系统及其方法,该自动巡检系统包括用于实现空间信息检索与资源匹配、护线任务协同与辅助决策、通道隐患数据存储的后台web端与分析智慧校园通道环境评估与预警、智慧校园云平台金融交易数据分析与管理、人员绩效考核与评价的物联网模块、交互各类数据的居于办公网、互联网和移动互联网的智能终端以及用于搭载后台web端、物联网模块、智慧校园智能巡检监控平台。
6.优选的,智能终端是护线巡检人员手中的智能pda。
7.优选的,自动巡检的系统以app形式实现用于智慧校园大数据中心机房有护线任务管理、电力设施保护宣传、护线任务评价、任务奖励管理。
8.优选的,所述智慧校园云智能巡检监控平台由后台监控端、现场作业端、云存储数据端组成,护线智能巡检系统进一步包括;微信模块,用于发布关于电力设施保护相关的科普知识、电力最新发展动态,使群众参与到全民护线的奖励活动中,在历史记录中查看已经完成任务和取得奖励。
9.可实现对大数据中心进行实时自动巡检方法,该自动巡检方法适用于自动巡检的系统中,该自动巡检方法包括以下步骤:
10.s1:根据巡检自动巡检的系统确定至少一个精准巡检设备,或根据巡检方案确定多个粗略巡检设备并指定所述多个粗略巡检设备中的一个粗略巡检设备作为所述多个粗略巡检设备的代理巡检设备;
11.s2:生成巡检任务并将该巡检任务发送至巡检人员的巡检终端上,该巡检任务中包括针对于所述精准巡检设备的巡检方案和/或针对于所述代理巡检设备的巡检方案;
12.s3:接收巡检人员通过巡检终端发送的巡检结果,该巡检结果中包括所述精准巡检设备的第一巡检结果和/或所述代理巡检设备的第二巡检结果;
13.s4:对所述第一巡检结果进行存储,和/或根据所述第二巡检结果确定所述多个粗略巡检设备的第三巡检结果并对该第三巡检结果进行存储。
14.优选的,根据所述第二巡检结果确定所述多个粗略巡检设备的第三巡检结果包括:
15.若检测到所述第二巡检结果是所述代理巡检设备处于正常状态,则确定所述第三巡检结果是所述多个粗略巡检设备均处于正常状态;
16.若检测到所述第二巡检结果是所述代理巡检设备处于异常状态,则向所述巡检终端获取所述多个粗略巡检设备中的异常巡检设备,并确定所述第三巡检结果是所述多个粗略巡检设备中所述异常巡检设备处于异常状态以及其他粗略巡检设备处于正常状态。
17.优选的,对巡检设备建模并生成巡检设备三维设备场景,在所述巡检设备三维场景中编辑生成巡检设备三维数字巡视路线,选择巡检设备三维数字巡视路线,执行所述巡检设备三维数字巡视路线,处理巡视节点,完成对巡检设备的巡检。
18.优选的,巡检设备中各个设备创建三维模型并导出三维模型文件,加载所述三维模型文件,生成与真实场景相符合的三维设备场景:绑定三维模型和状态实时数据记录。
19.优选的,在所述巡检设备三维设备场景中编辑生成巡检设备三维数字巡视路线的步骤进一步包括:
20.一、新建指定名称的巡视路线:
21.二、在所述巡检设备三维设备场景中按照实际的巡视路线进行交互式漫游:
22.三、当漫游到巡检设备三维场景的巡视路线的中间节点时,按照当前所在设备场景的空间位置,选择巡视节点的类型,输入该巡视节点的属性信息,并将巡视节点保存到数字巡视路线节点集合中:
23.四、判断巡视路线是否未结東漫游,如果巡视路线未结束漫游.则返回步骤二继续循环,直至巡视路线结束,如果巡视路线已结束漫游,将数字巡视路线节点集合保存在巡检设备三维数字巡视路线的数据文件中。
24.与现有技术对比,本发明具备以下有益效果:该可实现对智慧校园大数据中心进行实时自动巡检的系统及其方法,结合自动巡检设备三维数字巡视路线形象直观地展现巡视过程,有助于用户实现巡视系统的远程监视,同时具有良好的作业习惯溯源性和延续性,可以使护线人员在应用过程中无缝链接,使保电护线更加网络信息化与功效透明化。
具体实施方式
25.下面将对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
26.可实现对大数据中心进行实时自动巡检的系统,该自动巡检系统包括用于实现空
间信息检索与资源匹配、护线任务协同与辅助决策、通道隐患数据存储的后台web端与分析通道环境评估与预警、金融交易数据分析与管理、人员绩效考核与评价的物联网模块、交互各类数据的居于办公网、互联网和移动互联网的智能终端以及用于搭载后台web端、物联网模块、智能终端智慧校园智能巡检监控平台;
27.智能终端是护线巡检人员手中的智能pda;自动巡检的系统以app形式实现用于有护线任务管理、智慧校园电力设施保护宣传、护线任务评价、任务奖励管理;智慧校园云智能巡检监控平台由后台监控端、现场作业端、云存储数据端组成,护线智能巡检系统进一步包括;微信模块,用于发布关于智慧校园大数据中心电力设施保护相关的科普知识、电力最新发展动态,使智慧校园管理人员参与到护线的奖励活动中,在历史记录中查看已经完成任务和取得奖励;
28.可实现对大数据中心进行实时自动巡检方法,该自动巡检方法适用于自动巡检的系统中,该自动巡检方法包括以下步骤:
29.s1:根据巡检自动巡检的系统确定至少一个精准巡检设备,或根据巡检方案确定多个粗略巡检设备并指定所述多个粗略巡检设备中的一个粗略巡检设备作为所述多个粗略巡检设备的代理巡检设备;
30.s2:生成巡检任务并将该巡检任务发送至巡检人员的巡检终端上,该巡检任务中包括针对于所述精准巡检设备的巡检方案和/或针对于所述代理巡检设备的巡检方案;
31.s3:接收巡检人员通过巡检终端发送的巡检结果,该巡检结果中包括所述精准巡检设备的第一巡检结果和/或所述代理巡检设备的第二巡检结果;
32.s4:对所述第一巡检结果进行存储,和/或根据所述第二巡检结果确定所述多个粗略巡检设备的第三巡检结果并对该第三巡检结果进行存储;
33.第二巡检结果确定所述多个粗略巡检设备的第三巡检结果包括:
34.若检测到所述第二巡检结果是所述代理巡检设备处于正常状态,则确定所述第三巡检结果是所述多个粗略巡检设备均处于正常状态;
35.若检测到所述第二巡检结果是所述代理巡检设备处于异常状态,则向所述巡检终端获取所述多个粗略巡检设备中的异常巡检设备,并确定所述第三巡检结果是所述多个粗略巡检设备中所述异常巡检设备处于异常状态以及其他粗略巡检设备处于正常状态;对巡检设备建模并生成巡检设备三维设备场景,在所述巡检设备三维场景中编辑生成巡检设备三维数字巡视路线,选择巡检设备三维数字巡视路线,执行所述巡检设备三维数字巡视路线,处理巡视节点,完成对巡检设备的巡检;巡检设备中各个设备创建三维模型并导出三维模型文件,加载所述三维模型文件,生成与真实场景相符合的三维设备场景:绑定三维模型和状态实时数据记录;在所述巡检设备三维设备场景中编辑生成巡检设备三维数字巡视路线的步骤进一步包括:
36.一、新建指定名称的巡视路线:
37.二、在所述巡检设备三维设备场景中按照实际的巡视路线进行交互式漫游:
38.三、当漫游到巡检设备三维场景的巡视路线的中间节点时,按照当前所在设备场景的空间位置,选择巡视节点的类型,输入该巡视节点的属性信息,并将巡视节点保存到数字巡视路线节点集合中:
39.四、判断巡视路线是否未结東漫游,如果巡视路线未结束漫游.则返回步骤二继续
循环,直至巡视路线结束,如果巡视路线已结束漫游,将数字巡视路线节点集合保存在巡检设备三维数字巡视路线的数据文件中。
40.需要说明的是,该系统利用巡检设备可视化巡视系统在三维设备场景中按照指定巡视路线,采用三维漫游动画的方式显示自动巡视的执行过程。巡检设备可视化巡视系统是用来执行巡检设备三维数字巡视路线的三维视图软件,该系统加载并显示巡检设备的三维视图,并可以根据当前选择执行的三维数字巡视路线自动沿巡视路线进行漫游。当漫游到巡视节点位置时,巡检设备可视化巡视系统会自动弹出待巡视节点对应的设备实时状态数据和设备状态参数信息,该设备实时状态数据和设备状态参数信息均为通过网络通信实时从设备状态实时数据库中获取;
41.选择巡检设备三维数字巡视路线,对巡检设备执行远程巡检的步骤具体说明如下:选择要执行巡检的巡检设备三维数字巡视路线,加载巡检设备三维数字巡视路线的数据文件并生成该巡视路线的巡视节点集合,创建巡视路线的巡视节点执行线程,执行巡检设备三维数字巡视路线,按顺序处理巡视节点,具体地说,巡视节点执行线程先执行对起始漫游节点的巡检,再按照巡检设备三维数字巡视路线中的漫游节点或巡检节点对巡检设备远程巡检,当巡视节点执行线程执行到起始漫游节点时,直接将场景观察视点定位到该漫游节点对应的视点位置,当巡视节点执行线程执行到漫游节点时,根据该漫游节点的位置、上一个漫游节点的位置和场景观察视点移动速率计算出中间视点位置的集合,并按顺字刷新场景观察视点,实现场景观察视点的漫游动画显示;当巡视节点执行线程执行到巡检节点时,根据该巡检节点对应设备记录的id,通过网络从设备状态实时数据库中读取相关的设备实时状态数据和设备状态参数,然后通过二维用户表格窗口将设备实时状态数据和设备状态参数信息显示出来,同时巡视节点执行线程自动暂停漫游动画,当用户查看二维用户表格窗口显示的相关设备实时状态数据和设备状态参数后,关闭设备状态显示窗口,巡视节点执行线程继续进行漫游动画,判断巡视路线是否执行结束。如果该巡视路线未执行结東,返回步骤继续循环,直至所有巡视节点巡视完毕。如果该巡视路线执行结束,则结束对巡检设备的远程巡检;
42.综上所述,本发明在巡检设备三维实景的基础上,采用虚拟现实技术再现投运巡检设备的现场实景,用户可通过各个视角对巡检设备的设备进行全范围观察以熟悉现场的设备环境。本发明能够准确.逼真地反映现场设备及环境的状态,结合巡检设备三维数字巡视路线形象直观地展现巡视过程,有助于用户实现巡检设备的远程巡视。
43.需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
44.尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

数据库集群巡检方法、装置、设备及存储介质与流程

1.本技术涉及到大数据
技术领域
:,特别是涉及到一种数据库集群巡检方法、装置、设备及存储介质。
背景技术
::2.现有的数据库集群巡检主要依靠数据库自带的插件或第三方集成的工具,实现数据库的各项性能指标的实时监控。通常情况下,这类监控只局限于监控数据库内部的性能视图、topsql(结构化查询语言占用资源的降序排列)和top等待事件(等待事件的降序排列),巡检内容不全面,比如,无法监控数据库服务器的操作系统;而且数据库自带的插件或第三方集成的工具无法控制巡检范围,降低了数据安全性。技术实现要素:3.本技术的主要目的为提供一种数据库集群巡检方法、装置、设备及存储介质,旨在解决现有技术的数据库集群巡检主要依靠数据库自带的插件或第三方集成的工具,存在巡检内容不全面,无法控制巡检范围,降低了数据安全性的技术问题。4.为了实现上述发明目的,本技术提出一种数据库集群巡检方法,所述方法包括:5.获取数据库集群巡检请求;6.响应所述数据库集群巡检请求,获取节点地址配置数据;7.获取与所述数据库集群巡检请求对应的目标集群操作权限,根据预设的巡检脚本库和所述目标集群操作权限,对所述节点地址配置数据中的每个节点进行巡检脚本包生成,得到单节点巡检脚本包;8.将指定单节点巡检脚本包发送给所述指定单节点巡检脚本包对应的所述节点的目标服务器,获取所述目标服务器根据所述指定单节点巡检脚本包发送的单服务器巡检报告,其中,所述指定单节点巡检脚本包是所述节点地址配置数据中的任一个所述节点对应的所述单节点巡检脚本包,所述单服务器巡检报告包括:操作系统巡检报告和/或数据库巡检报告;9.将各个所述单服务器巡检报告进行巡检报告组合,得到数据库集群巡检报告。10.进一步的,所述获取与所述数据库集群巡检请求对应的目标集群操作权限的步骤,包括:11.获取与所述数据库集群巡检请求对应的目标用户标识;12.将所述目标用户标识,从预设的集群操作权限列表中进行集群操作权限匹配,得到所述目标集群操作权限。13.进一步的,所述根据预设的巡检脚本库和所述目标集群操作权限,对所述节点地址配置数据中的每个节点进行巡检脚本包生成,得到单节点巡检脚本包的步骤,包括:14.将所述目标集群操作权限,从预设的巡检权限列表中获取巡检权限作为第一巡检权限;15.将所述第一巡检权限,从所述巡检脚本库中的映射表获取巡检脚本标识,得到第一巡检脚本标识集;16.根据所述第一巡检脚本标识集,从所述巡检脚本库中的所述巡检脚本集合获取巡检脚本,得到第一脚本集;17.根据所述第一脚本集进行巡检脚本包生成,得到所述单节点巡检脚本包。18.进一步的,所述根据预设的巡检脚本库和所述目标集群操作权限,对所述节点地址配置数据中的每个节点进行巡检脚本包生成,得到单节点巡检脚本包的步骤,还包括:19.将所述节点地址配置数据中的一个节点作为目标节点;20.将所述目标节点和所述目标集群操作权限,从预设的巡检权限列表中获取巡检权限作为第二巡检权限;21.将所述第二巡检权限,从所述巡检脚本库的映射表中获取巡检脚本标识,得到第二巡检脚本标识集;22.根据所述第二巡检脚本标识集,从所述巡检脚本库的所述巡检脚本集合中获取巡检脚本,得到第二脚本集;23.根据所述第二脚本集进行所述巡检脚本包生成,得到所述目标节点对应的所述单节点巡检脚本包;24.重复确定所述将所述节点地址配置数据中的一个节点作为目标节点的步骤,直至确定所述节点地址配置数据中的每个所述节点对应的所述单节点巡检脚本包。25.进一步的,所述将指定单节点巡检脚本包发送给所述指定单节点巡检脚本包对应的所述节点的目标服务器,获取所述目标服务器根据所述指定单节点巡检脚本包发送的单服务器巡检报告的步骤,包括:26.将所述指定单节点巡检脚本包发送给所述指定单节点巡检脚本包对应的所述节点的所述目标服务器,获取所述目标服务器根据所述指定单节点巡检脚本包发送的单服务器脚本发送完成信号;27.响应所述单服务器脚本发送完成信号,向所述目标服务器发送单服务器巡检执行信号;28.获取所述目标服务器根据所述单服务器巡检执行信号发送的单服务器巡检结束信号;29.响应所述单服务器巡检结束信号,向所述目标服务器发送巡检报告上传信号;30.获取所述目标服务器根据所述指定单节点巡检脚本包发送的所述单服务器巡检报告。31.进一步的,所述获取所述目标服务器根据所述单服务器巡检执行信号发送的单服务器巡检结束信号的步骤,包括:32.获取所述目标服务器根据所述单服务器巡检执行信号发送的与所述指定单节点巡检脚本包对应的单服务器巡检结束信号,其中,所述目标服务器用于:33.执行所述指定单节点巡检脚本包中的主巡检脚本,判断所述指定单节点巡检脚本包中是否存在操作系统巡检脚本;34.若存在所述操作系统巡检脚本,则执行所述操作系统巡检脚本进行操作系统巡检,得到操作系统巡检报告;35.执行所述主巡检脚本,判断所述指定单节点巡检脚本包中是否存在数据库巡检脚本;36.若存在所述数据库巡检脚本,则执行所述数据库巡检脚本进行数据库巡检,得到数据库巡检报告;37.对所述操作系统巡检报告和/或所述数据库巡检报告进行压缩,得到与所述指定单节点巡检脚本包对应的所述单服务器巡检报告和所述单服务器巡检结束信号。38.进一步的,所述将各个所述单服务器巡检报告进行巡检报告组合,得到数据库集群巡检报告的步骤,包括:39.将各个所述单服务器巡检报告压缩成一个文件,得到所述数据库集群巡检报告。40.本技术还提出了一种数据库集群巡检装置,所述装置包括:41.请求获取模块,用于获取数据库集群巡检请求;42.节点地址配置数据获取模块,用于响应所述数据库集群巡检请求,获取节点地址配置数据;43.单节点巡检脚本包确定模块,用于获取与所述数据库集群巡检请求对应的目标集群操作权限,根据预设的巡检脚本库和所述目标集群操作权限,对所述节点地址配置数据中的每个节点进行巡检脚本包生成,得到单节点巡检脚本包;44.单服务器巡检报告确定模块,用于将指定单节点巡检脚本包发送给所述指定单节点巡检脚本包对应的所述节点的目标服务器,获取所述目标服务器根据所述指定单节点巡检脚本包发送的单服务器巡检报告,其中,所述指定单节点巡检脚本包是所述节点地址配置数据中的任一个所述节点对应的所述单节点巡检脚本包,所述单服务器巡检报告包括:操作系统巡检报告和/或数据库巡检报告;45.数据库集群巡检报告确定模块,用于将各个所述单服务器巡检报告进行巡检报告组合,得到数据库集群巡检报告。46.本技术还提出了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。47.本技术还提出了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。48.本技术的数据库集群巡检方法、装置、设备及存储介质,响应所述数据库集群巡检请求,获取节点地址配置数据;获取与所述数据库集群巡检请求对应的目标集群操作权限,根据预设的巡检脚本库和所述目标集群操作权限,对所述节点地址配置数据中的每个节点进行巡检脚本包生成,得到单节点巡检脚本包;将指定单节点巡检脚本包发送给所述指定单节点巡检脚本包对应的所述节点的目标服务器,获取所述目标服务器根据所述指定单节点巡检脚本包发送的单服务器巡检报告,其中,所述指定单节点巡检脚本包是所述节点地址配置数据中的任一个所述节点对应的所述单节点巡检脚本包,所述单服务器巡检报告包括:操作系统巡检报告和/或数据库巡检报告;将各个所述单服务器巡检报告进行巡检报告组合,得到数据库集群巡检报告。通过与数据库集群巡检请求对应的目标集群操作权限使巡检范围可控,提高了数据安全性;因根据单节点巡检脚本包得到的单服务器巡检报告包括:操作系统巡检报告和/或数据库巡检报告,从而实现了操作系统和数据库的巡检,有利于提高巡检内容的全面性;实现了自动化进行集群巡检,提高了巡检的效率,避免出现巡检错误和/或遗漏。附图说明49.图1为本技术一实施例的数据库集群巡检方法的流程示意图;50.图2为本技术一实施例的数据库集群巡检装置的结构示意框图;51.图3为本技术一实施例的计算机设备的结构示意框图。52.本技术目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。具体实施方式53.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。54.参照图1,本技术实施例中提供一种数据库集群巡检方法,所述方法包括:55.s1:获取数据库集群巡检请求;56.s2:响应所述数据库集群巡检请求,获取节点地址配置数据;57.s3:获取与所述数据库集群巡检请求对应的目标集群操作权限,根据预设的巡检脚本库和所述目标集群操作权限,对所述节点地址配置数据中的每个节点进行巡检脚本包生成,得到单节点巡检脚本包;58.s4:将指定单节点巡检脚本包发送给所述指定单节点巡检脚本包对应的所述节点的目标服务器,获取所述目标服务器根据所述指定单节点巡检脚本包发送的单服务器巡检报告,其中,所述指定单节点巡检脚本包是所述节点地址配置数据中的任一个所述节点对应的所述单节点巡检脚本包,所述单服务器巡检报告包括:操作系统巡检报告和/或数据库巡检报告;59.s5:将各个所述单服务器巡检报告进行巡检报告组合,得到数据库集群巡检报告。60.本实施例通过与数据库集群巡检请求对应的目标集群操作权限使巡检范围可控,提高了数据安全性;因根据单节点巡检脚本包得到的单服务器巡检报告包括:操作系统巡检报告和/或数据库巡检报告,从而实现了操作系统和数据库的巡检,有利于提高巡检内容的全面性;实现了自动化进行集群巡检,提高了巡检的效率,避免出现巡检错误和/或遗漏。61.对于s1,在实现本技术的服务器(数据库集群中的任一个服务器)中,可以获取用户在实现本技术的服务器中发送的数据库集群巡检请求,也可以是第三方应用系统发送的数据库集群巡检请求,还可以是实现本技术的程序根据预设条件触发的数据库集群巡检请求。比如,预设条件为每天3:00触发一次数据库集群巡检请求。62.数据库集群中包括多个节点,每个节点对应一个服务器。63.数据库集群巡检请求,是对数据库集群进行巡检的请求。64.可选的,所述获取数据库集群巡检请求的步骤之前,还包括:65.s11:获取节点地址配置请求;66.s12:响应所述节点地址配置请求,获取用户输入的所述节点地址配置数据。67.节点地址配置数据,是数据库集群中的需要巡检的节点的ip地址的集合。68.对于s2,在获取到所述数据库集群巡检请求时,可以从本地的数据库中获取与所述节点地址配置数据,也可以从第三方应用系统中节点地址配置数据,还可以从所述数据库集群巡检请求携带的参数中获取节点地址配置数据。69.对于s3,根据所述数据库集群巡检请求携带的参数,从预设的集群操作权限列表中获取集群操作权限作为目标集群操作权限,其中,所述数据库集群巡检请求携带的参数包括但不限于:用户标识。用户标识可以是用户名称、用户id等唯一标识一个用户的数据。70.所述集群操作权限列表包括:查询关键字和集群操作权限。所述集群操作权限,是对数据库集群的操作权限。比如,查询关键字为用户标识。71.其中,根据所述目标集群操作权限,从预设的巡检脚本库获取巡检脚本,将获取的巡检脚本进行打包,将打包得到的数据作为所述单节点巡检脚本包。也就是说,每个节点的单节点巡检脚本包相同,因此,只需要打包一次即可。72.所述巡检脚本库包括:映射表和巡检脚本集合。映射表包括:巡检权限和巡检脚本标识。巡检脚本集合包括:巡检脚本类型、巡检脚本标识和巡检脚本。巡检脚本标识可以是巡检脚本名称、巡检脚本id等唯一标识一个巡检脚本的数据。巡检脚本类型包括:主脚本、操作系统巡检和数据库巡检。巡检脚本类型为主脚本的脚本包括:单服务器主巡检脚本、操作系统主巡检脚本和数据库主巡检脚本。巡检脚本类型为操作系统巡检的脚本包括:操作系统巡检脚本、操作系统资源巡检脚本、操作系统日志巡检脚本。巡检脚本类型为数据库巡检的脚本包括:数据库巡检脚本、数据库相关的巡检脚本、数据库状态检查巡检脚本、数据库参数检查巡检脚本、软件版本检查巡检脚本、数据库性能及信息检查巡检脚本、备份信息检查巡检脚本、日志检查巡检脚本、数据库表使用情况检查巡检脚本、数据库高可用插件巡检脚本、集群状态检查巡检脚本、数据库高可用插件的日志检查巡检脚本、高可用插件的状态检查巡检脚本和数据库高可用插件的权限检查巡检脚本。73.其中,所述巡检脚本是采用shell脚本语言开发的脚本。shell脚本与windows/dos下的批处理相似,也就是用各类命令预先放入到一个文件中,方便一次性执行的一个程序文件,主要是方便管理员进行设置或者管理用的。74.操作系统资源的巡检,主要通过调用操作系统巡检脚本来实现,巡检内容包括但不限于:(1)内存、中央处理器、磁盘使用情况;(2)操作系统内核参数配置情况;(3)防火墙配置情况;(4)oswatch(oracle官方提供的收集操作系统性能状态信息的小工具)情况。75.操作系统日志的巡检,主要通过调用操作系统日志巡检脚本,巡检内容包括:/var/log/messages中error(错误)信息的提取及error信息写入巡检报告中,并通过邮件告警通知运维邮件组和开发邮件组。76.其中,通过单服务器主巡检脚本调用操作系统主巡检脚本进行操作系统巡检,操作系统主巡检脚本调用操作系统巡检脚本,操作系统巡检脚本调用操作系统资源巡检脚本和操作系统日志巡检脚本。77.操作系统资源巡检脚本,名称表述为resource_check.sh,用于获取/proc/meminfo、/etc/hosts、/etc/sysctl.conf、/etc/security/limits.conf、/etc/selinux/config的信息,并输出结果到$hostname_os_check.out文件中;通过防火墙关闭和状态查看获取防火墙信息;通过df–h获取磁盘使用率信息;并将oswatch的信息也一并输出到$hostname_os_check.out文件中。至此,所有的操作系统资源信息巡检结果,全部输出到了$hostname_os_check.out文件中。78.操作系统日志巡检脚本,名称表述为os_log_check.sh,用于获取近7天/var/log/messages操作系统日志文件的所有error关键字的报错信息,并依次匹配该脚本中提前定义的几种常见报错,如果匹配成功,则将报错信息和对应的解决方案,输出到$hostname_os_log_check.out;如果报错未匹配到预定义的常见报错及解决方案,则输出‘非常见报错,请自行分析、处理’到$hostname_os_log_check.out文件中。至此,所有的操作系统报错信息巡检结果及解决建议,全部输出到了$hostname_os_log_check.out文件中。79.其中,通过单服务器主巡检脚本调用数据库主巡检脚本进行数据库巡检,数据库主巡检脚本调用数据库巡检脚本,数据库巡检脚本调用数据库相关的巡检脚本,数据库相关的巡检脚本调用数据库状态检查巡检脚本、数据库参数检查巡检脚本、软件版本检查巡检脚本、数据库性能及信息检查巡检脚本、备份信息检查巡检脚本、日志检查巡检脚本、数据库表使用情况检查巡检脚本,所有的数据库相关信息巡检结果及解决建议,全部输出到了$hostname_db_check.out文件中;数据库巡检脚本调用数据库高可用插件巡检脚本,数据库高可用插件巡检脚本调用集群状态检查巡检脚本、数据库高可用插件的日志检查巡检脚本、高可用插件的状态检查巡检脚本和数据库高可用插件的权限检查巡检脚本,所有的高可用插件相关的巡检结果及解决建议,全部输出到了$hostname_db_gi_check.out文件中。80.数据库状态检查巡检脚本,名称表述为service_check.sh,用于通过ps–ef|grep数据库后台进程(例如:mysqld、smon、lsnrctl等进程)的方式,判断当前机器的数据库服务、或监听服务是否存活,并将存活状态输出到巡检报告$hostname_db_check.out中。81.数据库参数检查巡检脚本,名称表述为parameter_check.sh,用于通过gv$parameter等数据库视图,获取当前数据库的参数配置情况,并输出到巡检报告$hostname_db_check.out中。82.软件版本检查巡检脚本,名称表述为software_check.sh脚本,用于通过$oracle_home/opatch/opatchlsinventory、v$session、select@@version等方式,获取当前数据库的版本信息、以及补丁信息,并输出巡检结果到$hostname_db_check.out中。83.数据库性能及信息检查巡检脚本,名称表述为performance_check.sh,用于调用一些查询数据库topsql、topevent、慢sql、锁等的sql语句(例如v$active_session_history、dba_hist_snapshot、dbms_xplan.display_cursor等数据库内部视图的联合查询sql),将查询结果,输出到巡检报告$hostname_db_check.out中。84.备份信息检查巡检脚本,名称表述为backup_check.sh,用于通过检查crontab定时任务的设置情况,获取到备份的时间、备份频率、备份文件的位置;再通过统计每天备份文件大小,可以计算出一个增长的趋势,预估未来一个月的备份增长情况;并且解析备份脚本,提取含mtime(修改时间)关键字的脚本行,获取保留期是n天;并将上述的巡检结果,输出到巡检报告$hostname_db_check.out中。85.日志检查巡检脚本名称表述为log_check.sh,用于提取日志(例如$oracle_base/diag/rdbms/$oracle_sid/$oracle_sid/alert_$oracle_sid.log)中包含error、ora-等关键字的信息,并输出到巡检报告$hostname_db_check.out中(由于可能包含的报错比较多,故不做规则匹配,仅输出巡检的结果)。86.数据库表使用情况检查巡检脚本,名称表述为space_check.sh,用于通过dba_tablespaces、v$datafile、v$tempfile等视图,检查当期数据库的表空间使用率,输出结果到巡检报告$hostname_db_check.out中;并将表空间使用率》80%的非系统表空间,输出到巡检报告的整改建议中。87.集群状态检查巡检脚本,名称表述为cluster_service_check.sh,用于通过crsctlstatusresource–t命令,检查数据库整个集群的状态,并将检查结果输出到巡检报告$hostname_db_gi_check.out中。88.数据库高可用插件的日志检查巡检脚本,名称表述为gi_check.sh,用于通过ps–ef|grepkeepalived或mha等方式,检查当期高可用插件的状态是否存活,并将检查结果输出到巡检报告$hostname_db_gi_check.out中。89.高可用插件的状态检查巡检脚本,名称表述为gi_log_check.sh,用于通过检查高可用插件的日志文件,抓取日志中近7天error关键字的报错,并将报错信息输出到巡检报告$hostname_db_gi_check.out中。90.数据库高可用插件的权限检查巡检脚本,名称表述为privilege_check.sh,用于检查高可用插件所在目录的权限、以及所用磁盘的权限,并将检查结果输出到巡检报告$hostname_db_gi_check.out中。91.对于s4,将所述节点地址配置数据中的任一个所述节点对应的所述单节点巡检脚本包作为所述指定单节点巡检脚本包;通过与所述目标服务器的通信连接,将指定单节点巡检脚本包发送给所述指定单节点巡检脚本包对应的所述节点的目标服务器;所述目标服务器根据指定单节点巡检脚本包进行操作系统巡检和/或数据库巡检,巡检结束生成单服务器巡检报告;通过与所述目标服务器的通信连接,获取所述目标服务器发送的与所述指定单节点巡检脚本包对应的单服务器巡检报告。92.对于s5,采用预设的报告组合规范,对各个所述单服务器巡检报告进行巡检报告组合,得到所述数据库集群巡检报告。93.可以理解的是,步骤s1至步骤s5,可以实现为脚本,该脚本采用shell语言开发,该脚本的名称表述为master.sh。94.shell脚本,是与windows/dos下的批处理相似,也就是用各类命令预先放入到一个文件中,方便一次性执行的一个程序文件,主要是方便管理员进行设置或者管理用的。95.可选的,所述将各个所述单服务器巡检报告进行巡检报告组合,得到数据库集群巡检报告的步骤之后,还包括:采用预设的邮件发送规则,对所述数据库集群巡检报告进行邮件发送。96.在一个实施例中,上述获取与所述数据库集群巡检请求对应的目标集群操作权限的步骤,包括:97.s311:获取与所述数据库集群巡检请求对应的目标用户标识;98.s312:将所述目标用户标识,从预设的集群操作权限列表中进行集群操作权限匹配,得到所述目标集群操作权限。99.本实施例根据数据库集群巡检请求对应的目标用户标识从预设的集群操作权限列表中确定目标集群操作权限,为使巡检范围可控提供了基础。100.对于s311,将与所述数据库集群巡检请求对应的用户在登录操作系统使用的账号标识作为目标用户标识。101.对于s312,将所述目标用户标识,从预设的集群操作权限列表中进行用户标识匹配,将匹配到的所述用户标识在所述集群操作权限列表中对应的集群操作权限作为所述目标集群操作权限,从而基于操作系统的登录用户确定了目标集群操作权限。102.集群操作权限列表包括:用户标识和集群操作权限。103.在一个实施例中,上述根据预设的巡检脚本库和所述目标集群操作权限,对所述节点地址配置数据中的每个节点进行巡检脚本包生成,得到单节点巡检脚本包的步骤,包括:104.s321:将所述目标集群操作权限,从预设的巡检权限列表中获取巡检权限作为第一巡检权限;105.s322:将所述第一巡检权限,从所述巡检脚本库中的映射表获取巡检脚本标识,得到第一巡检脚本标识集;106.s323:根据所述第一巡检脚本标识集,从所述巡检脚本库中的所述巡检脚本集合获取巡检脚本,得到第一脚本集;107.s324:根据所述第一脚本集进行巡检脚本包生成,得到所述单节点巡检脚本包。108.本实施例根据所述目标集群操作权限和巡检权限列表,从预设的巡检脚本库中获取节点需要的巡检脚本,将获取的巡检脚本进行打包以形成单节点巡检脚本包,单节点巡检脚本包是符合权限要求的巡检脚本包,因此使巡检范围可控,提高了数据安全性。109.对于s321,巡检权限列表包括:集群操作权限和巡检权限。110.将所述目标集群操作权限,从预设的巡检权限列表中查询集群操作权限,将查找到的集群操作权限在巡检权限列表中对应的巡检权限作为第一巡检权限。111.对于s322,将所述第一巡检权限,在所述巡检脚本库中的映射表中查找巡检权限,将查找到的巡检权限在映射表中对应的各个巡检脚本标识作为第一巡检脚本标识集。112.对于s323,针对所述第一巡检脚本标识集中的每个巡检脚本标识,从所述巡检脚本库中的所述巡检脚本集合获取巡检脚本,将获取的各个巡检脚本作为第一脚本集。113.对于s324,采用预设的打包规范,将所述第一脚本集进行巡检脚本包生成,将打包得到的巡检脚本包作为所述单节点巡检脚本包。114.也就是说,所述节点地址配置数据的各个节点的所述单节点巡检脚本包相同。115.在一个实施例中,上述根据预设的巡检脚本库和所述目标集群操作权限,对所述节点地址配置数据中的每个节点进行巡检脚本包生成,得到单节点巡检脚本包的步骤,还包括:116.s331:将所述节点地址配置数据中的一个节点作为目标节点;117.s332:将所述目标节点和所述目标集群操作权限,从预设的巡检权限列表中获取巡检权限作为第二巡检权限;118.s333:将所述第二巡检权限,从所述巡检脚本库的映射表中获取巡检脚本标识,得到第二巡检脚本标识集;119.s334:根据所述第二巡检脚本标识集,从所述巡检脚本库的所述巡检脚本集合中获取巡检脚本,得到第二脚本集;120.s335:根据所述第二脚本集进行所述巡检脚本包生成,得到所述目标节点对应的所述单节点巡检脚本包;121.s336:重复确定所述将所述节点地址配置数据中的一个节点作为目标节点的步骤,直至确定所述节点地址配置数据中的每个所述节点对应的所述单节点巡检脚本包。122.本实施例根据目标集群操作权限、巡检权限列表针对节点地址配置数据中的每个节点进行单节点巡检脚本包,从而满足了细分化的权限要求,进一步提高了数据安全性。123.对于s331,采用遍历的方法,将所述节点地址配置数据中的一个节点作为目标节点。124.对于s332,将所述目标节点和所述目标集群操作权限进行关联,作为待查询的关联数据;将待查询的关联数据在巡检权限列表中查询关联数据,将查询到的关联数据在巡检权限列表中对应的巡检权限作为第二巡检权限。125.对于s333,将所述第二巡检权限,在所述巡检脚本库中的映射表中查找巡检权限,将查找到的巡检权限在映射表中对应的各个巡检脚本标识作为第二巡检脚本标识集。126.对于s334,针对所述第二巡检脚本标识集中的每个巡检脚本标识,从所述巡检脚本库中的所述巡检脚本集合获取巡检脚本,将获取的各个巡检脚本作为第二脚本集。127.对于s335,采用预设的打包规范,将所述第二脚本集进行所述巡检脚本包生成,将打包得到的巡检脚本包作为所述目标节点对应的所述单节点巡检脚本包。128.对于s336,重复执行步骤s331至步骤s336的步骤,直至确定所述节点地址配置数据中的每个所述节点对应的所述单节点巡检脚本包。129.在一个实施例中,上述将指定单节点巡检脚本包发送给所述指定单节点巡检脚本包对应的所述节点的目标服务器,获取所述目标服务器根据所述指定单节点巡检脚本包发送的单服务器巡检报告的步骤,包括:130.s41:将所述指定单节点巡检脚本包发送给所述指定单节点巡检脚本包对应的所述节点的所述目标服务器,获取所述目标服务器根据所述指定单节点巡检脚本包发送的单服务器脚本发送完成信号;131.s42:响应所述单服务器脚本发送完成信号,向所述目标服务器发送单服务器巡检执行信号;132.s43:获取所述目标服务器根据所述单服务器巡检执行信号发送的单服务器巡检结束信号;133.s44:响应所述单服务器巡检结束信号,向所述目标服务器发送巡检报告上传信号;134.s45:获取所述目标服务器根据所述指定单节点巡检脚本包发送的所述单服务器巡检报告。135.本实施例通过单服务器脚本发送完成信号、单服务器巡检执行信号、单服务器巡检结束信号、巡检报告上传信号,实现了对目标服务器的巡检流程的自动化控制,提高了巡检的效率,避免出现巡检错误和/或遗漏。136.对于s41,通过与所述指定单节点巡检脚本包对应的所述节点的所述目标服务器的通信连接,将指定单节点巡检脚本包发送给所述目标服务器;所述目标服务器在完成指定单节点巡检脚本包的接收时,生成单服务器脚本发送完成信号;通过与目标服务器的通信连接,获取目标服务器发送的与所述指定单节点巡检脚本包对应的单服务器脚本发送完成信号。137.对于s42,在收到所述单服务器脚本发送完成信号时,向接收完指定单节点巡检脚本包的目标服务器发送单服务器巡检执行信号。138.对于s43,目标服务器在收到单服务器巡检执行信号时,将执行步骤s41收到的所述指定单节点巡检脚本包,执行完成生成单服务器巡检结束信号;通过与目标服务器的通信连接,获取所述目标服务器发送的与所述单服务器巡检执行信号对应的单服务器巡检结束信号。139.对于s44,在收到所述单服务器巡检结束信号时,向已完成巡检的所述目标服务器发送巡检报告上传信号。140.巡检报告上传信号携带有节点ip地址。141.对于s45,获取所述目标服务器根据巡检报告上传信号携带的节点ip地址,发送的与所述指定单节点巡检脚本包对应的所述单服务器巡检报告。142.在一个实施例中,上述获取所述目标服务器根据所述单服务器巡检执行信号发送的单服务器巡检结束信号的步骤,包括:143.获取所述目标服务器根据所述单服务器巡检执行信号发送的与所述指定单节点巡检脚本包对应的单服务器巡检结束信号,其中,所述目标服务器用于:144.s451:执行所述指定单节点巡检脚本包中的主巡检脚本,判断所述指定单节点巡检脚本包中是否存在操作系统巡检脚本;145.s452:若存在所述操作系统巡检脚本,则执行所述操作系统巡检脚本进行操作系统巡检,得到操作系统巡检报告;146.s453:执行所述主巡检脚本,判断所述指定单节点巡检脚本包中是否存在数据库巡检脚本;147.s454:若存在所述数据库巡检脚本,则执行所述数据库巡检脚本进行数据库巡检,得到数据库巡检报告;148.s455:对所述操作系统巡检报告和/或所述数据库巡检报告进行压缩,得到与所述指定单节点巡检脚本包对应的所述单服务器巡检报告和所述单服务器巡检结束信号。149.本实施例通过指定单节点巡检脚本包对目标服务器进行操作系统和/或数据库的巡检,从而实现了操作系统和数据库的巡检,有利于提高巡检内容的全面性。150.对于s451,执行所述指定单节点巡检脚本包中的主巡检脚本,判断所述指定单节点巡检脚本包中是否存在操作系统巡检脚本,若存在,意味着需要进行操作系统巡检,若不存在,意味着不需要进行操作系统巡检。151.对于s452,若存在所述操作系统巡检脚本,意味着需要进行操作系统巡检,则执行所述操作系统巡检脚本以调用指定单节点巡检脚本包中的与操作系统相关的巡检脚本(也就是操作系统资源巡检脚本和操作系统日志巡检脚本中的一个或多个)进行操作系统巡检,根据操作系统巡检得到的数据生成操作系统巡检报告。152.对于s453,执行所述主巡检脚本,判断所述指定单节点巡检脚本包中是否存在数据库巡检脚本,若存在,意味着需要进行数据库巡检,若不存在,意味着不需要进行数据库巡检。153.对于s454,若存在所述数据库巡检脚本,意味着需要进行数据库巡检,执行所述数据库巡检脚本调用指定单节点巡检脚本包中的与数据库相关的巡检脚本(也就是数据库相关的巡检脚本、数据库状态检查巡检脚本、数据库参数检查巡检脚本、软件版本检查巡检脚本、数据库性能及信息检查巡检脚本、备份信息检查巡检脚本、日志检查巡检脚本、数据库表使用情况检查巡检脚本、数据库高可用插件巡检脚本、集群状态检查巡检脚本、数据库高可用插件的日志检查巡检脚本、高可用插件的状态检查巡检脚本和数据库高可用插件的权限检查巡检脚本中的一个或多个)进行数据库巡检,将数据库巡检得到的数据生成数据库巡检报告。154.对于s455,采用预设的压缩格式,对所述操作系统巡检报告和/或所述数据库巡检报告进行压缩,将压缩得到的压缩包作为与所述指定单节点巡检脚本包对应的所述单服务器巡检报告。155.在一个实施例中,上述将各个所述单服务器巡检报告进行巡检报告组合,得到数据库集群巡检报告的步骤,包括:156.将各个所述单服务器巡检报告压缩成一个文件,得到所述数据库集群巡检报告。157.本实施例通过对各个所述单服务器巡检报告进行压缩,从而将各个单服务器巡检报告存放在同一个文件包中,从而避免文件散乱,有利于所述数据库集群巡检报告的传输。158.采用预设的压缩格式,对各个所述单服务器巡检报告进行压缩,将压缩得到的文件包在我所述数据库集群巡检报告。159.参照图2,本技术还提出了一种数据库集群巡检装置,所述装置包括:160.请求获取模块100,用于获取数据库集群巡检请求;161.节点地址配置数据获取模块200,用于响应所述数据库集群巡检请求,获取节点地址配置数据;162.单节点巡检脚本包确定模块300,用于获取与所述数据库集群巡检请求对应的目标集群操作权限,根据预设的巡检脚本库和所述目标集群操作权限,对所述节点地址配置数据中的每个节点进行巡检脚本包生成,得到单节点巡检脚本包;163.单服务器巡检报告确定模块400,用于将指定单节点巡检脚本包发送给所述指定单节点巡检脚本包对应的所述节点的目标服务器,获取所述目标服务器根据所述指定单节点巡检脚本包发送的单服务器巡检报告,其中,所述指定单节点巡检脚本包是所述节点地址配置数据中的任一个所述节点对应的所述单节点巡检脚本包,所述单服务器巡检报告包括:操作系统巡检报告和/或数据库巡检报告;164.数据库集群巡检报告确定模块500,用于将各个所述单服务器巡检报告进行巡检报告组合,得到数据库集群巡检报告。165.本实施例通过与数据库集群巡检请求对应的目标集群操作权限使巡检范围可控,提高了数据安全性;因根据单节点巡检脚本包得到的单服务器巡检报告包括:操作系统巡检报告和/或数据库巡检报告,从而实现了操作系统和数据库的巡检,有利于提高巡检内容的全面性;实现了自动化进行集群巡检,提高了巡检的效率,避免出现巡检错误和/或遗漏。166.参照图3,本技术实施例中还提供一种计算机设备,该计算机设备可以是服务器,其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于储存数据库集群巡检方法等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据库集群巡检方法。所述数据库集群巡检方法,包括:获取数据库集群巡检请求;响应所述数据库集群巡检请求,获取节点地址配置数据;获取与所述数据库集群巡检请求对应的目标集群操作权限,根据预设的巡检脚本库和所述目标集群操作权限,对所述节点地址配置数据中的每个节点进行巡检脚本包生成,得到单节点巡检脚本包;将指定单节点巡检脚本包发送给所述指定单节点巡检脚本包对应的所述节点的目标服务器,获取所述目标服务器根据所述指定单节点巡检脚本包发送的单服务器巡检报告,其中,所述指定单节点巡检脚本包是所述节点地址配置数据中的任一个所述节点对应的所述单节点巡检脚本包,所述单服务器巡检报告包括:操作系统巡检报告和/或数据库巡检报告;将各个所述单服务器巡检报告进行巡检报告组合,得到数据库集群巡检报告。167.本实施例通过与数据库集群巡检请求对应的目标集群操作权限使巡检范围可控,提高了数据安全性;因根据单节点巡检脚本包得到的单服务器巡检报告包括:操作系统巡检报告和/或数据库巡检报告,从而实现了操作系统和数据库的巡检,有利于提高巡检内容的全面性;实现了自动化进行集群巡检,提高了巡检的效率,避免出现巡检错误和/或遗漏。168.本技术一实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现一种数据库集群巡检方法,包括步骤:获取数据库集群巡检请求;响应所述数据库集群巡检请求,获取节点地址配置数据;获取与所述数据库集群巡检请求对应的目标集群操作权限,根据预设的巡检脚本库和所述目标集群操作权限,对所述节点地址配置数据中的每个节点进行巡检脚本包生成,得到单节点巡检脚本包;将指定单节点巡检脚本包发送给所述指定单节点巡检脚本包对应的所述节点的目标服务器,获取所述目标服务器根据所述指定单节点巡检脚本包发送的单服务器巡检报告,其中,所述指定单节点巡检脚本包是所述节点地址配置数据中的任一个所述节点对应的所述单节点巡检脚本包,所述单服务器巡检报告包括:操作系统巡检报告和/或数据库巡检报告;将各个所述单服务器巡检报告进行巡检报告组合,得到数据库集群巡检报告。169.上述执行的数据库集群巡检方法,通过与数据库集群巡检请求对应的目标集群操作权限使巡检范围可控,提高了数据安全性;因根据单节点巡检脚本包得到的单服务器巡检报告包括:操作系统巡检报告和/或数据库巡检报告,从而实现了操作系统和数据库的巡检,有利于提高巡检内容的全面性;实现了自动化进行集群巡检,提高了巡检的效率,避免出现巡检错误和/或遗漏。170.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本技术所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双速据率sdram(ssrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。171.需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。172.以上所述仅为本技术的优选实施例,并非因此限制本技术的专利范围,凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的
技术领域
:,均同理包括在本技术的专利保护范围内。当前第1页12当前第1页12

 

<think> 根据用户请求和提供的引用,用户希望了解常见的巡检工具。结合引用中提到的工具,我将整理出常见的巡检工具类型和具体示例。以下是我的回答思路: 1. 首先从引用中提取已提及的巡检工具: - 引用[1]:网络设备巡检工具(批量巡检、自定义巡检、端口管理) - 引用[3]:Linux系统巡检脚本(日检/周检,覆盖系统/网络/服务等) - 引用[4]:数据库巡检工具DBCheck(支持多数据库,GUI操作) - 引用[5]:大数据巡检脚本(针对大数据平台) 2. 补充其他常见类型: - 云平台巡检工具(如AWS Trusted Advisor、Azure Advisor) - 开源监控系统(如Prometheus+Grafana的定制巡检) - 综合运维平台(如Zabbix、Nagios的巡检功能) 3. 按使用场景分类说明: - 网络设备类 - 操作系统类 - 数据库类 - 云平台类 - 自定义脚本类 4. 突出开源工具(因引用多涉及开源方案) 5. 添加对比表格总结工具特点 6. 生成相关问题供延伸学习 </think> ### 常见的巡检工具分类与应用场景 根据行业实践和技术栈差异,巡检工具主要分为以下五类,覆盖网络设备、操作系统、数据库及云平台等场景: --- #### 一、网络设备巡检工具 1. **网络设备批量巡检工具** - 功能:批量扫描交换机/路由器,支持端口管理、配置备份、安全策略检查 - 示例: - 开源工具包 [网络设备巡检工具.rar](https://gitcode.com/open-source-toolkit/11b00)(引用[^1]) - 支持自定义巡检模板、自动关闭空闲端口、一键开启端口 - 适用场景:企业级网络运维、多分支设备集中管理 2. **网络自动化开发工具** - 工具:`Visual FoxPro`(引用[^2]) - 特点:通过编程实现复杂巡检逻辑,适合定制化需求 --- #### 二、操作系统巡检工具 1. **Linux系统巡检脚本** - 功能:覆盖系统/网络/服务/安全等多维度检查(引用[^3]) - 核心模块: ```bash # 日巡检内容(凌晨2:30自动执行) ywtool inspect daily # 检查CPU/内存/磁盘/服务/防火墙等20+项 # 周巡检内容(周日凌晨3点执行) ywtool inspect weekly # 扩展检查用户/日志/软件完整性等25+项 ``` - 日志管理:自动压缩存储至`/usr/local/ywtools/log/backup/` 2. **一体化监控工具** - 工具:`Zabbix`、`Nagios` - 特点:实时告警+周期性巡检报告,支持自定义巡检项 --- #### 三、数据库巡检工具 1. **跨平台数据库巡检** - 工具:`DBCheck`(引用[^4]) - 亮点: - 支持 **Oracle/MySQL/PostgreSQL/SQL Server** - GUI操作 + 自定义模板 - 输出`Markdown`/`HTML`格式报告 - 适用场景:多数据库环境合规性检查 2. **云数据库巡检** - 工具:`AWS RDS Advisor`、`Azure SQL Database Advisor` - 功能:自动检测性能瓶颈与安全风险 --- #### 四、大数据平台巡检工具 1. **大数据集群巡检脚本** - 工具:`bigdata-dbe-f-collector`脚本(引用[^5]) - 操作流程: ```bash # 上传脚本至大数据节点 scp bigdata-dbe-f-collector-v1.8.sh user@bigdata-server:/path/ # 执行巡检 sh bigdata-dbe-f-collector-v1.8.sh --service-check ``` - 输出:服务状态、资源使用率、节点健康度 --- #### 五、云平台与容器巡检 1. **Kubernetes巡检工具** - 工具:`kube-bench`(CIS基准检测)、`kube-hunter`(安全扫描) - 检查项:配置合规性、Pod安全策略、证书有效期 2. **云原生巡检平台** - 工具:`Datadog`、`Sysdig` - 特点:全栈监控(基础设施→应用层),自动生成巡检报告 --- ### 工具对比与选型建议 | **工具类型** | 代表工具 | 适用场景 | 部署复杂度 | |--------------------|-------------------|----------------------------|------------| | 网络设备巡检 | 自定义脚本 | 多厂商设备混合环境 | ★★☆ | | 操作系统巡检 | ywtool/Zabbix | 服务器集群基线检查 | ★☆☆ | | 数据库巡检 | DBCheck | 多数据库统一审计 | ★★☆ | | 大数据平台巡检 | 定制Shell脚本 | Hadoop/Spark集群健康诊断 | ★★★ | | 云原生巡检 | Datadog + kube-bench | 容器化微服务架构 | ★★☆ | > **选型原则**: > - 中小规模环境优先选择**脚本化工具**(如ywtool[^3]) > - 混合云环境建议采用**SaaS化平台**(如Datadog) > - 合规性要求严格时选择**专项工具**(如DBCheck[^4]) --- ### 最佳实践案例 **某金融企业巡检流程**: 1. **每日凌晨**:通过`ywtool`自动扫描200+ Linux服务器(引用[^3]) 2. **每周日**:`DBCheck`执行数据库慢查询分析与权限审计(引用[^4]) 3. **每月初**:`kube-bench`检测K8s集群安全漏洞 4. **季度审计**:网络设备批量配置备份与端口安全扫描(引用[^1]) ---
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

四月天03

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值