RHEL6.5安装collectd5.8 采集数据至logstash

日志系统的搭建(collectd + logstash + influxdb) 背景要提供一套新的服务,正好借这个机会把所有日志都整合起来:squid,collectd等等。同时存入influxdb中,用influxdb的原因是: 需要的查询大多是随机查询,而它提供sql-like的查询语言,并且有一个简单的UI go写的。。。。(老大喜欢) elasticsearch没有一个好的dashboard 概述 squid:缓存数据的代理服务器。通过缓存和服用频繁访问的页面来减小带宽 阅读详情

 

原

雁南飞丶

  雁南飞丶 发布于 04/11 14:45 

字数 558

 

阅读 73

 

收藏 0

 

点赞 0

 

 评论 0

21天精品区块链课程免费学习,深入实战行家带路,助力开发者轻松玩转区块链! >>>   

下载collectd5.8

https://storage.googleapis.com/collectd-tarballs/collectd-5.8.0.tar.bz2

安装

https://collectd.org/download.shtml

tar xf collectd-version.tar.bz2
cd collectd-version
./configure
make all install

复制启动脚本

cp /usr/local/collectd-5.8.0/contrib/redhat/init.d-collectd  /etc/init.d/
chmod +x /etc/init.d/init.d-collectd 
修改启动脚本配置文件地方

修改后的启动脚本 用##标识 主语路径

[root@znhjkapp02 ~]# cat /etc/init.d/init.d-collectd 
#!/bin/bash
#
# collectd    Startup script for the Collectd statistics gathering daemon
# chkconfig: - 99 01
# description: Collectd is a statistics gathering daemon used to collect \
#   system information ie. cpu, memory, disk, network
# processname: collectd
# config: /etc/collectd.conf
# config: /etc/sysconfig/collectd
# pidfile: /var/run/collectd.pid

# Source function library.
. /etc/init.d/functions

RETVAL=0
ARGS=""
prog="collectdmon"
service="collectd"
CONFIG=/opt/collectd/etc/collectd.conf     ##
COLLECTD=/opt/collectd/sbin/collectd       ##
COLLECTDMONPIDDIR="/opt/collectd/var/run"  ##
COLLECTDMONPID="$COLLECTDMONPIDDIR/collectdmon.pid"

MAXWAIT=30

if [ -r /etc/sysconfig/$service ]; then
	. /etc/sysconfig/$service
fi

if [[ ! -d $COLLECTDMONPIDDIR ]]; then
	mkdir -p $COLLECTDMONPIDDIR
	[ -n "${RUNAS}" ] && chown "${RUNAS}:" "$COLLECTDMONPIDDIR"
fi

check_config() {
        if test ! -r "$CONFIG"; then
                return 2
        fi
        if ! $COLLECTD -t -C "$CONFIG"; then
                return 1
        fi
        return 0
}

start () {
	echo -n $"Starting collectd: "
	check_config
	rc="$?"
	if test "$rc" -ne 0; then
		RETVAL=6
		echo $"not starting due to configuration error"
		failure $"not starting $service due to configuration error"
	else
		daemon --user "${RUNAS:-root}" $prog -P $COLLECTDMONPID -c $COLLECTD -- -C "$CONFIG" $ARGS
		RETVAL=$?
		echo
		[ $RETVAL -eq 0 ] && touch /var/lock/subsys/$service
	fi
}

stop () {
	echo -n $"Stopping collectd: "
	killproc -p $COLLECTDMONPID -d $MAXWAIT $prog
	RETVAL=$?
	echo
	[ $RETVAL -eq 0 ] && rm -f /var/lock/subsys/$service
}

restart () {
	check_config
	rc="$?"
	if test "$rc" -ne 0; then
		RETVAL=6
		echo $"not restarting due to configuration error"
		failure $"not restarting $service due to configuration error"
	else
		stop
		start
	fi
}

# See how we were called.
case "$1" in
  start)
	start
	;;
  stop)
	stop
	;;
  status)
	status -p $COLLECTDMONPID $prog
	;;
  restart|reload)
	restart
	;;
  condrestart)
	[ -f /var/lock/subsys/$service ] && restart || :
	;;
  *)
	echo $"Usage: $0 {start|stop|status|restart|reload|condrestart}"
	exit 1
esac

exit $?

# vim:syntax=sh

修改collectd


[root@znhjkapp02 ~]# grep -v ^# /opt/collectd/etc/collectd.conf |grep -v ^$
Hostname    "znhjkapp02"
LoadPlugin syslog
LoadPlugin cpu
LoadPlugin interface
LoadPlugin load
LoadPlugin memory
LoadPlugin network
<Plugin network>
	<Server "9.1.8.247" "25826">  #collectd收集来数据传送给logstash的服务器地址
	</Server>
</Plugin>

启动并查看日志 没错就OK

[root@znhjkapp02 ~]# /etc/init.d/init.d-collectd start
collectdmon (pid  1034) 正在运行...
查看日志
Apr 11 10:45:56 znhjkapp02 collectd[1035]: plugin_load: plugin "interface" successfully loaded.
Apr 11 10:45:56 znhjkapp02 collectd[1035]: plugin_load: plugin "load" successfully loaded.
Apr 11 10:45:56 znhjkapp02 collectd[1035]: plugin_load: plugin "memory" successfully loaded.
Apr 11 10:45:56 znhjkapp02 collectd[1035]: plugin_load: plugin "network" successfully loaded.
Apr 11 10:45:56 znhjkapp02 collectd[1035]: Initialization complete, entering read-loop.

logstash 安装用rpm

[root@znhjkapp02 ~]# cat /etc/logstash/conf.d/collectd.conf
input{
 udp {
    port => 25826
    buffer_size => 1452
    workers => 3          # Default is 2
    queue_size => 30000   # Default is 2000
    codec => collectd { }
    type => "collectd"
}
}
output {
  elasticsearch {
    hosts => '9.1.8.234'
    index => "logstash-collectd-%{+YYYY.MM.dd}"
       }
        stdout { codec => rubydebug }
}

会启动一个udp的25826端口监听来自collectd的数据

使用collectd收集物理机和虚拟机的运行信息(参考的文章已经在文前注明) 目的: 编译在server 和client 端编译 并 安装 collectd, 收集client物理机及其上运行的虚拟机信息,发送到server段。 一:server端  1 /etc/hostname 中的名字需要和/etc/hosts中的127.0.1.1 后面的名字一致,否则会启动不了collectd或者    在/var/lib/collectd中生成不了rrd文件。 2 阅读详情

相关推荐

collectd-5.8.1.tar.bz2

collectd-5.8.1.tar.bz2用来收集主机的监控信息,包括cpu、内存、网络、磁盘、负载等等

linux性能监控工具collectl安装及简要使用说明

[root@test45 ~]# vi  /etc/resolv.conf nameserver 202.106.0.20 1.root下执行 perl -MCPAN -e shell 在选择窗口选择no,不进行cpan环境参数的配置 2.在cpan命令行下执行命令如下

wenbingcai的专栏 2655

数据库:关系运算整理大全(包括关系代数、元组关系演算、域关系演算)

数据库关系运算: 1. 关系代数(基本关系代数、附加关系代数、扩展关系代数) 2. 元组关系演算 3. 域关系演算

ysji's blog 2万+

failed to start daemon 最新解决方法,非豌豆荚

前段时间在windows下开发android程序,发现运行的时候控制台一直报错:ADB server didn't ACK fail to start daemon,虽然知道是adb启动不了,但是不知道原因是什么,网上搜索了一大堆,大多是说豌豆荚占用端口,但是我电脑根本没有装豌豆荚,后来找了很久,偶然发现有一个tadb.exe的程序,长得和adb挺像的,结束进程之后居然可以了!原来是我升级了QQ音

xidomlove的专栏 3906

Zemax操作33--5倍激光扩束器

5倍扩束

lzy750750的博客 2934

嵌入式开发语言-C语言编程

C语言编程概述环境在Windows上构建C语言的环境安装在Mac上构建C语言的环境安装 概述 “C语言”被称为适合嵌入式系统开发的编程语言之一。 C语言在一般的编程中也是熟悉的开发语言,但实际上,如果试着使用C语言制作微型计算机的控制程序等,就必须使用与“普通的C程序”不同的使用方法。 作为一般的C语言的学习方法,使用“printf”“scanf”等标准函数的程序开发是固定的,但这些都是以UNIX和Windows等环境上的应用程序开发为前提的。 对此,没有显示器和键盘的嵌入式系统的微型计算机控制程序,该如何

编程老王 7981

influxdb + collectd

collectdyum -y install perl-ExtUtils-Embed perl-ExtUtils-MakeMaker liboping* # wget https://collectd.org/files/collectd-5.5.0.tar.gz wget http://ops:123123@soft2.ops.ac.cn:78/collectd/collectd-5.5.0.

vbaspdelphi的专栏 2007

保姆级教程:用微信小程序+OneNet MQTT API,5分钟搞定温湿度数据实时展示

本文提供了一份详细的教程,教你如何利用微信小程序和OneNet MQTT API在5分钟内实现温湿度数据的实时展示。从OneNet平台配置到小程序数据绑定,手把手指导零基础开发者快速搭建监控系统,涵盖API调用、数据解析和界面设计等关键步骤。

weixin_30298497的博客 370

elk监控服务器性能,空口无凭:服务器性能监控 ELK实践

随着项目中服务器越加越多,项目组需要对服务器进行更为完善的性能监控:排查问题故障的时,经常要登录到服务器上查看CPU、内存、网络、磁盘状况。作为一种高吞吐量的分布式发布订阅消息系统,kafka就是其中之一,当然还少不了elasticsearch、spark等。kafka一般来说,项目中应用集群种类较多,这些集群具备各自的应用监控能力,但是不具备整体的监控入口。在本文中我们先将服务器性能数据收集起来...

weixin_34524392的博客 571

图像处理 | 基于matlab的多尺度Retinex(MSR)和自适应直方图均衡化(CLAHE)算法联合的低照度图像增强(附代码)

本文介绍了一种基于多尺度Retinex(MSR)和CLAHE的低照度图像增强算法。算法首先对图像进行多尺度Retinex处理,通过不同尺度的高斯核去除光照影响;然后采用CLAHE算法进行对比度增强。Matlab实现展示了算法流程,包含灰度转换、多尺度Retinex增强和CLAHE处理。实验结果显示,该方法能有效提升低照度图像的可见性,增强细节表现。最后提出了改进建议,包括引入深度学习方法和优化参数选择。

尘世冰封的专栏 954

YOLOv8独家原创改进:SPPF原创自研创新 | SPPF创新结构,重新设计全局平均池化层和全局最大池化层,增强全局视角信息和不同尺度大小的特征

SPPF_improve利用全局平均池化层和全局最大池化层,加入一些全局背景信息和边缘信息,从而获取全局视角信息并减轻不同尺度大小所带来的影响

①答疑群聊服务;②YOLO大模型知识问答系统;③计算机视觉论文生成智能体; 4685

【ELK】如何使用CollectD发送服务器性能计数值到Logstash中

架构原理 Collectd 是Liunx系统上数据采集指标(Metircs)的工具集,Collectd : C 语言开发的一个守护(daemon)进程,周期性收集统计数据和存储,拥有丰富的插件包括监控Ceph,DRBD,OpenLDAP,ZK等,利用这些信息有助于查找当前系统的性能瓶颈,作为性能分析报表。在本系统中,计划配置成客户端模式,向UDP端口发送指标数据,由Logstash接

qq_24129617的博客 2443

在 SAP BTP Cloud Foundry 环境中开发 SAP HANA 的完整实战路线图

SAP HANA Cloud迁移路径解析:从本地到云原生的数据库现代化 本文梳理了SAP HANA在Cloud Foundry环境中的架构定位和实施路径,针对不同起点的项目提供迁移建议。核心内容包括: SAP HANA Cloud在Cloud Foundry中的双重角色:既作为平台服务提供数据库实例,又通过HDI容器管理MTA应用中的数据库工件。 针对四类典型项目起点的迁移策略: 绿地项目:直接采用CAP+SAP HANA Cloud组合 已有HANA service或XS advanced项目:需对照兼容

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 266

collectd+influxDB+Grafana搭建性能监控平台

网上查看了很多关于环境搭建的文章,都比较久远了很多安装包源都不可用了,今天收集了很多资料组合尝试使用新版本来搭建,故在此记录。 采集数据(collectd)-> 存储数据(influxdb) -> 显示数据(grafana) 常用配置: influxdb + grafana安装在一台机器负责监控数据收集及展示 col...

weixin_30897079的博客 608

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

解决ganglia客户端加载模块失败的小错误

环境debain 6.0 安装客户端ganglia root@mdb:/etc/ganglia# apt-cache search ganglia collectd-core - statistics collection and monitoring daemon (core system) ganglia-monitor - cluster monitorin...

weixin_34159110的博客 427

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

ubuntu部署collectd小例子

首先是编译源: sudo apt-get install build-essential 接着安装一些必要的包,在后期安装必要插件时可能还需要一些包,参见http://collectd.org/wiki/index.php/First_steps#Creating_graphs: sudo apt-get install librrd2-dev libsensors-dev libsnmp-

吴静的blog 4291

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

collectd+infludb+grafana实现tomcat JVM监控

前提条件:已安装好java环境,tomcat,influxdb和collectd。本文暂不提供以上内容的安装步骤 系统环境:centos7 原理:开启tomcat的jmx端口,使用collectd的collectd-fast-jmx插件收集jmx信息,collectd把数据存储到infludb,再由grafana展示infludb的数据 1,开启tomcat的jmx配置 cd /usr/l...

weixin_30779691的博客 288

centos7 yum安装collectd + 报错处理

centos7 collectd

小苹果与小爪机 2407

系统性能监控利器-collectd详解

系统监控是作为网站运维、网站性能优化必不可少的工具,目前比较常用的有Nagios、Cacti以及Zabbix,笔者用过后两个,其中Zabbix确实很强大,web界面操作也比较不错。不过这几个工具安装起来那可并不简单,其中Nagios的复杂那可是出了名的。 插播:关于服务器端监控命令请参考前文《Linux服务器性能追踪以及服务器监控常用命令》 笔者近期一直在尝试用Collectd,一款性

第27号专栏 7509

collectd安装与部署

1、安装与启动collectd命令:sudo apt-get install collectd   sudo /etc/init.d/collectd start(这样,就启动了collectddeamon程序) 2、部署 collectd 两台ubuntu虚拟机,一台为server,一台client。server IP:202.194.68.152,拟接收数据端口25827. serv

xiao11xiang123的专栏 2680

Linux下安装Logstash

1、从https://www.elastic.co/downloads/logstash下载最新的Logstash软件,Linux下可以用命令      wget https://artifacts.elastic.co/downloads/logstash/logstash-6.1.2.tar.gz(当时的最新版) 2、解压软件tar -zxvf logstash-6.1.2.tar.gz

侯恩呈专栏 1977

collectd 修改配置重新启动

[wangshumin@CentOSNode2 etc]$  sudo vim /etc/collectd.conf  [wangshumin@CentOSNode2 etc]$  sudo vim /etc/collectd.conf  [sudo] wangshumin 的密码: [wangshumin@CentOSNode2 etc]$ cd  /opt/collectd/ [wangshu...

大JAVA解决方案 1247
上一篇: collectd+influxDB+Grafana搭建性能监控平台
下一篇: centos7.4_x86_64安装grafana5.2.1并安装常用zabbix插件
王树民
博客等级 码龄10年 912粉丝 560原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值