CMDB 项目学习 - 数据采集（Client端 - 程序位于Agent服务器或中控机执行）

最新推荐文章于 2025-07-15 15:38:31 发布
原创 最新推荐文章于 2025-07-15 15:38:31 发布 · 1.8k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了CMDB项目中数据采集的过程，重点讨论了基于Agent的主机名变更问题及其解决方案。内容包括需求分析、配置集成、数据采集方式、并发实现以及如何确保系统唯一标识。在面临主机名变更时，通过初次录入信息并后续从本地文件获取主机名，解决了数据更新的问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

一、需求分析

1-1 需求思路流程

1-2 代码逻辑流程

二、目录结构分析

三、默认配置和用户配置的获取、集成

四、数据采集方式、数据采集对象的可插拔配置

五、数据采集方式和数据获取（三种方式）

六、基于ssh和salt数据获取的并发实现

七、唯一标识问题

7-1 基于 Agent 的 HostName 变更问题

7-1-1 变更问题的代码解决

一、需求分析

  • 默认配置和用户配置的获取及集成
  • 数据采集方式、数据采集对象的可插拔配置
  • 数据采集方式和数据获取（三种方式）
    • Agent
    • SSH-Paramiko
    • Salt-Stack
  • 基于ssh和salt数据获取的并发实现
  • 系统唯一标识的解决方式
    • 不采集虚拟机的信息, 可以用SN做唯一标识
    • 不采集虚拟机的信息, 使用主机名（需要业务规范的执行）

1-1 需求思路流程

1-2 代码逻辑流程

二、目录结构分析

  • bin - 执行文件文件夹
  • config - 配置文件夹
  • lib - 存储公共方法、公共类
  • src - 业务核心逻辑文件夹
  • tests - 开发人员的测试目录（与项目的执行无关，可删）

三、默认配置和用户配置的获取、集成

详细学习参考

最低0.47元/天 解锁文章

200万优质内容无限畅学
CMDB开发之服务器数据采集
ALLENsakaru的博客
01-16 1826
服务器数据采集与接收 采集数据可以有n种方法。但是我们并不需要太高深的知识，python基础足矣。现在完成的是一个Python获取linux服务器资源的脚本。 #!/usr/bin/env python3 #coding:utf-8 import os import uuid import socket #获取主机名 hostname = socket.gethostname() #获取i...
CMDB数据采集代码实现
番茄炒蛋君的博客
09-28 1195
目录： 创建一个django API来接受数据采集得到的数据 创建项目及目录结构 高级配置文件设置 可插拔式插件 创建一个django API来接受数据采集得到的数据 需要注意的点： POST和GET的数据，都是从Body中获取到的 发过来的数据头中： content-type: application/www-form-urlencoded 此时 request.body将数据交给re...
CMDB之数据采集
weixin_30371875的博客
09-08 284
一. 四种方式 1. Agent方式 api - URL - 发送数据格式 - 返回值 agent - 采集数据,发送数据 好处: - 简单 - 采集速度快,响应速度快 坏处： - 每台agent装的插件多,性能损耗严重 - 更新需要更新每台agent服务器 ##...
深度解析：一文讲清楚企业级 Agent 分布式部署架构！（建议收藏）
最新发布
kaka0722ww的博客
07-15 1067
在当今数字化时代，企业的 IT 系统规模日益庞大且复杂，如何高效地对其进行监控与管理成为关键难题。Agent 分布式部署架构应运而生，为企业提供了一种强大的解决方案。接下来，让我们深入探究这一架构的奥秘。
CMDB学习之二数据采集
weixin_30561177的博客
02-22 195
首先也要调用插件的方式，来写采集数据插件，在src目录下创建一个插件 plugins ，然后在plugins下创建disk.py ,memory.py, network.py等等 　　src 　　　　plugins 　　 在disk.py #获取采集，执行采集命令是cmd 是统一的我直接写agent中进行调用 def get_disk(handler,hostna...
cmdb数据采集API端.zip
09-27
cmdb数据采集API端
CMDB 项目学习 - 概念介绍、架构方式
LIN的博客
01-08 3464
目录 一、CMDB - 资产管理系统基本介绍 1-1 自动化运维平台的特性 - 标准化 1-2 CMDB 系统功能介绍 二、CMDB的架构方式 2-1 Agent架构实现 2-1-0 架构思路 2-1-1 架构特点及其优缺点 2-1-2 Agent程序的核心逻辑 - subprocess +requests 2-2 基于Paramiko模块的SSH连接架构实现 2-2-0 架构...
CMDB项目实战一
道可道 非常道
02-28 3733
python目前主流的几个大方向： Python自动化运维（*****）----》cmdb 爬虫、数据分析方向（****） web开发（** PHP） 人工智能（AI） 今天所要讲的CMDB项目是对运维行业，先来简单了解下传统运维与自动化运维的一些区别： 传统运维 1.项目上线 a.产品经理前期调研 b.和开发进行评审 c.开发进行开...
搭建CMDB系统——概述
Dim_Jerry的博客
02-15 1万+
目录一、CMDB是什么？二、IT运维的分类三、CMDB与传统数据库的区别四、传统运维的缺点(1)IT 运维人员被动、效率低(2)缺乏一套高效的IT运维机制(3)缺乏高效的IT运维技术工具五、为什么需要自动化运维？1.项目上线2.监控系统3.自动装机系统六、自动化运维平台的特征七、CMDB包含的功能八、CMDB的四种实现方式方式一：Agent方式方式二：ssh类实现方式（基于paramiko模块）方...
Python之路：CMDB开发
中國颜值半壁江山的博客
04-13 439
浅谈ITIL TIL即IT基础架构库(Information Technology Infrastructure Library, ITIL，信息技术基础架构库)由英国政府部门CCTA(Central Computing and Telecommunications Agency)在20世纪80年代末制订，现由英国商务部OGC(Office of Government Commerce)负责管理，主要适用于IT服务管理（ITSM）。ITIL为企业的IT服务管理实践提供了一个客观、严谨、可量化的标准和规范。
【进阶篇】五、Java Agent实现系统数据采集
llg___的博客
04-17 2154
APM系统用到了Java Agent的静态代理模式 + 字节码增强，从而采集到方法的耗时、数据库的查询时长、SQL信息等Arthas用到了Java Agent的动态代理模式，用到了JMX获取到一些信息，以及字节码增强打印方法耗时、参数等。
一个获取各种系统的监控数据的Agent
08-06
一个获取各种系统的监控数据的Agent，此系统是和OpenFalcon监控系统一起使用,是为了更方便的进行运维监控。若不了解,可以先点击链接去OpenFalcon的官方社区进行了解。 SuitAgent特点 自动探测部署机上的服务,自动监控 监控配置动态生效,无需重启
python cmdb资产_CMDB资产采集
weixin_35733790的博客
12-24 235
importosimportjsonimporttimeimporthashlibimportrequestsfrom src importpluginsfrom lib.serialize importJsonfrom lib.log importLoggerfrom config importsettingsfrom concurrent.futures importThreadPoolExe...
CMDB资产采集方式
weixin_34365417的博客
11-07 320
CMDB 资产采集的方案总共有四种 Agent (python) SSH类paramiko模块 (python) Saltstack (python) Puttet（ruby） 前三种是用Python开发的，目标是兼容三种采集方式的软件 实现自动采集的基本原理都是在Linux里输入命令返回结果 import subprocess value = subprocess.g...
Flume数据采集工具之agent
weixin_45216482的博客
02-27 3554
1.Flume介绍 Flume是一个分布式、可靠、和高可用的海量日志采集、汇聚和传输的系统。 Flume可以采集文件，socket数据包（网络端口）、文件夹、kafka、mysql数据库等各种形式源数据，又可以将采集到的数据(下沉sink)输出到HDFS、hbase、hive、kafka等众多外部存储系统中 一般的采集、传输需求，通过对flume的简单配置即可实现；不用开发一行代码！ Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用于大部分的日常数据采集场景 2.age.
网络代理服务Agent,服务端.client 连接server 进行通信
07-08 1081
package com.example.agentserv; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; import java.io.OutputStream; import java
JPOM - Server-Agent数据采集流程
热门推荐
小工匠
03-31 4万+
文章目录地址版本数据采集流程 地址 Gitee: https://gitee.com/dromara/Jpom 官网： https://jpom.io/ 一款简而轻的低侵入式在线构建、自动部署、日常运维、项目监控软件。 版本 我们以2.8.12为例子，鉴赏学习一下 数据采集流程 ...
prometheus使用agent模式采集指标数据
阿泽St
03-03 5368
prometheus配置agent模式并支持thanos。（prometheus高内存问题）
CMDB的数据获取实现方式
weixin_30466039的博客
05-14 1600
CMDB项目： 1.什么是自动化运维？为什么需要自动化运维？ 自动化运维可以实现以下四点： 1.项目上线:​ 流程: ​ 产品经理调研(画出原型图) ---> 定需求 ---> 三方会谈(产品经理, 研发,老大们) ---> 定日期--->测试项目---> 最终上线---> 应用运维​ 目前: 是把代码打包给运...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值