Ganglia3.6.0 安装步骤 (含python module)

现代数据工程师的核心能力:实时处理、质量治理与成本优化 数据工程已从管道维护升级为驱动业务增长的核心能力体系。其本质是围绕数据全生命周期构建可信、高效、可持续的数据产品——依托云原生架构实现计算与存储解耦,通过Flink等流处理引擎支撑毫秒级业务响应,以dbt+Great Expectations实现数据建模与质量内建,并借助Terraform和成本画像完成基础设施即代码与精细化资源运营。Real-time Data Processing确保决策时效性,Data Quality保障分析结果可信度,Cost Optimization则让EB级数据资产具备商业可持续 阅读详情

前言

最近在研究云监控的相关工具,感觉ganglia颇有亮点,能从一个集群整体的角度来展现数据. 但是安装过程稍过复杂,相关依赖稍多,故写此文章与大家分享下.

本文不讲解相关原理,若想了解请参考其他资料. 

本文目的: 即使之前未触过ganglia,也能按照文中步骤搭建自己的ganglia监控集群.

@Author duangr

@Website http://my.oschina.net/duangr/blog/181585

1.相关环境

Host NameIPOSArch
duangr-1192.168.56.10CentOS 6.4x86_64
duangr-2192.168.56.11CentOS 6.4x86_64
duangr-3192.168.56.12CentOS 6.4x86_64


全部主机确认:

  • iptables关闭

  • SELinux disabled

2.部署规划

项值
监控服务主节点duangr-1
被监控从节点

duangr-2
duangr-3


Ganglia监控服务的主节点需要安装:

  • ganglia

  • ganglia-web

  • php

  • apache

Ganglia被监控从节点需要安装:

  • ganglia

安装路径规划

项值
ganglia安装路径/usr/local/ganglia
php安装路径/usr/local/php
apache安装路径/usr/local/apache2
ganglia-web安装路径/export/home/ganglia/ganglia-web-3.5.10
rrds数据路径/export/home/ganglia/rrds

3.代码获取

4.前提依赖

4.1 主机环境检查(全部主机节点)

# rpm -q gcc glibc glibc-common rrdtool rrdtool-devel apr  apr-devel expat expat-devel  pcre pcre-devel dejavu-lgc-sans-mono-fonts dejavu-sans-mono-fonts
gcc-4.4.7-3.el6.x86_64
glibc-2.14.1-6.x86_64
glibc-common-2.14.1-6.x86_64
rrdtool-1.3.8-6.el6.x86_64
rrdtool-devel-1.3.8-6.el6.x86_64
apr-1.3.9-5.el6_2.x86_64
apr-devel-1.3.9-5.el6_2.x86_64
expat-2.0.1-11.el6_2.x86_64
expat-devel-2.0.1-11.el6_2.x86_64
pcre-7.8-6.el6.x86_64
pcre-devel-7.8-6.el6.x86_64
dejavu-lgc-sans-mono-fonts-2.30-2.el6.noarch.rpm
dejavu-sans-mono-fonts-2.30-2.el6.noarch.rpm

若有缺失,请先安装. 可通过如下几个镜像网站下载相关安装包:

4.2 dejavu

rpm -ivh dejavu-lgc-sans-mono-fonts-2.30-2.el6.noarch.rpm
rpm -ivh dejavu-sans-mono-fonts-2.30-2.el6.noarch.rpm

4.3 rrdtool

rpm -ivh rrdtool-1.3.8-6.el6.x86_64.rpm
rpm -ivh rrdtool-devel-1.3.8-6.el6.x86_64.rpm

4.4 apr

rpm -ivh apr-1.3.9-5.el6_2.x86_64.rpm
rpm -ivh apr-devel-1.3.9-5.el6_2.x86_64.rpm

4.5 libexpat

rpm -ivh expat-2.0.1-11.el6_2.x86_64.rpm
rpm -ivh expat-devel-2.0.1-11.el6_2.x86_64.rpm

4.6 libpcre

rpm -ivh pcre-7.8-6.el6.x86_64.rpm
rpm -ivh pcre-devel-7.8-6.el6.x86_64.rpm

4.7 confuse

confuse-2.7  http://www.nongnu.org/confuse/

tar -zxf confuse-2.7.tar.gz
cd confuse-2.7
./configure CFLAGS=-fPIC --disable-nls
make && make install

4.8 python

Python-2.7.3.tar.bz2   http://www.python.org/

tar -jxf Python-2.7.3.tar.bz2
./configure  --prefix=/usr/local  --enable-shared 
make && make install

配置共享库

vi /etc/ld.so.conf

-- 增加如下内容
/usr/local/lib

启用配置

ldconfig

检查是否生效

ldconfig -v |grep "libpython2.7.so"

5.编译安装

5.1 安装ganglia (全部节点都要安装)

# tar -zxf ganglia-3.6.0.tar.gz
# cd ganglia-3.6.0
# ./configure --prefix=/usr/local/ganglia --with-gmetad --enable-gexec --with-python=/usr/local
Welcome to..
     ______                  ___
    / ____/___ _____  ____ _/ (_)___ _
   / / __/ __ `/ __ \/ __ `/ / / __ `/
  / /_/ / /_/ / / / / /_/ / / / /_/ /
  \____/\__,_/_/ /_/\__, /_/_/\__,_/
                   /____/

Copyright (c) 2005 University of California, Berkeley

Version: 3.6.0
Library: Release 3.6.0 0:0:0

Type "make" to compile.
# make && make install

5.2 安装ganglia-web (主节点安装)

# tar -zxf ganglia-web-3.5.10.tar.gz -C /export/home/ganglia/
# cd /export/home/ganglia/ganglia-web-3.5.10
# cp conf_default.php conf.php

vi conf.php    调整为如下内容

$conf['gweb_confdir'] = "/export/home/ganglia/ganglia-web-3.5.10";
$conf['gmetad_root'] = "/export/home/ganglia";

vi header.php 

<?php
session_start();
ini_set('date.timezone','PRC');      --修改时区为本地时区

if (isset($_GET['date_only'])) {
  $d = date("r");
  echo $d;
  exit(0);
}

配置临时目录

cd /export/home/ganglia/ganglia-web-3.5.10/dwoo
mkdir cache
chmod 777 cache
mkdir compiled
chmod 777 compiled

5.3 安装apache (主节点安装)

tar -zxf httpd-2.2.23.tar.gz
 cd httpd-2.2.23
 ./configure --prefix=/usr/local/apache2
 make && make install

5.4 安装php (主节点安装)

tar -zxf php-5.4.10.tar.gz
cd php-5.4.10
./configure --prefix=/usr/local/php  --with-apxs2=/usr/local/apache2/bin/apxs  --with-mysql=/usr
make  && make install



注:在实际安装过程中,我采用的是

yum -y install httpd php
通过一条命令,即可成功安装apache httpd 和 php支持,简单方便。

按照以上的安装方式, 配置出来的默认站点目录为/var/www/html/,新建一个php脚本info.php:

<?php
phpinfo();
?>
访问http://localhost/info.php成功的话,即说明安装成功。



5.5 使用apache发布ganglia-web (主节点安装)

vi /usr/local/apache2/conf/httpd.conf

....
Listen 80
....

<IfModule dir_module>
    DirectoryIndex index.html index.php
    AddType application/x-httpd-php .php
</IfModule>
....

# 在文件最后增加如下内容
# ganglia
Alias /ganglia "/export/home/ganglia/ganglia-web-3.5.10"
<Directory "/export/home/ganglia/ganglia-web-3.5.10">
     AuthType Basic
     Options None
     AllowOverride None
     Order allow,deny
     Allow from all
</Directory>

启动httpd服务

/usr/local/apache2/bin/apachectl restart

6.配置Ganglia

6.1 配置gmetad (主节点配置)

cd ganglia-3.6.0
cp ./gmetad/gmetad.init /etc/init.d/gmetad
cp ./gmetad/gmetad.conf /usr/local/ganglia/etc/

vi /etc/init.d/gmetad  --修改如下内容

GMETAD=/usr/local/ganglia/sbin/gmetad

vi /usr/local/ganglia/etc/gmetad.conf     -- 修改如下内容

data_source "duangr-cluster" 10 duangr-1  duangr-2  duangr-3
xml_port 8651
interactive_port 8652
rrd_rootdir "/export/home/ganglia/rrds"
case_sensitive_hostnames 0

修改rrds数据目录所有者

chown -R nobody:nobody /export/home/ganglia/rrds

启动gmetad服务,并设为开机自动运行 

service gmetad restart
chkconfig --add gmetad

6.2 配置gmond (全部节点配置)

cd ganglia-3.6.0
cp ./gmond/gmond.init /etc/init.d/gmond 
./gmond/gmond -t > /usr/local/ganglia/etc/gmond.conf

vi /etc/init.d/gmond  --修改如下内容

GMOND=/usr/local/ganglia/sbin/gmond

vi /usr/local/ganglia/etc/gmond.conf      -- 修改如下内容

cluster {
  name = "duangr-cluster"
  owner = "nobody"
  latlong = "unspecified"
  url = "unspecified"
}

复制python module到ganglia部署目录

mkdir /usr/local/ganglia/lib64/ganglia/python_modules
cp ./gmond/python_modules/*/*.py  /usr/local/ganglia/lib64/ganglia/python_modules

安装程序ganglia-3.6.0默认提供了一些python module的配置文件,只需要部署到 /usr/local/ganglia/etc/conf.d 目录下面即可生效

若对默认提供的这些监控脚本不太关心,可以跳过下面这步:

cp ./gmond/python_modules/conf.d/*.pyconf  /usr/local/ganglia/etc/conf.d

启动gmond服务,并设为开机自动运行

service gmond  restart
chkconfig --add gmond

7.监控页面

http://192.168.56.10/ganglia/

8.相关链接

ganglia安装文档--亲自安装成功 ganglia安装文档--亲自安装成功 ganglia的配置、问题处理、web界面的配置 立即下载

相关推荐

ganglia-3.7.1.tar.gz

ganglia系统各种信息监测,支持多种系统,C源代码

Centos6.3下Ganglia3.6.0安装配置

mkdir /var/lib/ganglia/rrds 最近安装Ganglia,由于之前Linux基础基本为0,因此费了很大的周折。最后在失败了好多次之后终于看到了梦寐以求的web界面。下面总结下这几天来的工作。 ganglia是一个监控软件,他包含三部分:Gmond,Gmetad和Gweb。在需要监控的主机上安装Gmond,他会采集当前主机上的一些信息;Gmetad部署在服务器端,它轮训

sdlyjzh的专栏 3622

对接萤石平台调用播放

萤石api 管理 · 萤石开放平台API文档 httpclient pom <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.5.2</version> </dependency> package com.ruoyi...

u011799016的博客 1773

centos集群上安装ganglia-3.6.0监控hadoop-2.2.0和hbase-0.96.0

Ganglia 是 UC Berkeley 发起的一个开源监视项目,设计用于测量数以千计的节点。每台计算机都运行一个收集和发送度量数据(如处理器速度、内存使用量等)的名为 gmond 的守护进程。它将从操作系统和指定主机中收集。接收所有度量数据的主机可以显示这些数据并且可以将这些数据的精简表单传递到层次结构中。正因为有这种层次结构模式,才使得 Ganglia 可以实现良好的扩展。gmond 带来的

iAm333的专栏 6916

STM32驱动MG996R舵机的PWM控制与闭环原理

舵机是一种典型的模拟闭环伺服系统,其核心是通过电位器反馈实现角度位置的自动校正。工作原理基于负反馈控制:目标PWM脉宽决定期望角度,电位器输出实时反馈实际角度,控制电路计算偏差并驱动电机消除误差。该机制赋予舵机强带载能力与抗干扰性,是机器人、云台、智能执行器等场景的关键执行单元。在嵌入式开发中,STM32通过定时器生成标准20ms周期、0.5–2.5ms脉宽的PWM信号,需严格遵循电气规范,并解决PA15引脚SWJ复用冲突、定时器重映射及CCR精度计算等关键问题。本文深入解析MG996R舵机控制全流程,涵盖

weixin_42600407的博客 564

缺陷检测-金属表面缺陷检测

1介绍 缺陷检测是工业视觉技术中最重要的组成部分。业务广泛,场景丰富,技术难点高、工作量大。针对不同的场景,选择不同的相机和

huneng1991的专栏 5250

centos 安装ganglia监控工具

ganglia是分布式的监控系统,有两个Daemon,分别是:客户端GangliaMonitoring Daemon (gmond)和服务端GangliaMeta Daemon (gmetad),还有GangliaPHP Web  Frontend(基于web的动态访问方式)组成是一个Linux下图形化监控系统运行性能的软件,界面美观、丰富,功能强大而ganglia又依赖于一个web服务器用来显

风花雪月 5297

告别IMEI!手把手教你用UUID实现Android设备唯一标识(兼容Android 10-13)

本文详细探讨了在Android 10及以上版本中,如何构建合规且高可用的设备唯一标识方案以替代被限制访问的IMEI。文章深入分析了Android设备标识符的演变,并提供了基于UUID/GUID的完整实现策略,包括生成算法、多级持久化存储方案(如MediaStore)、权限处理以及版本兼容性实践,帮助开发者应对Android 10-13的隐私政策变化。

weixin_28339967的博客 576

在线安装Ganglia3.6.0,nginx+php搭建gweb,绝对通过

环境:CentOS6.5 minimal 目标:安装Ganglia核心组件(gmond, gmetad, gmetric, gstat, libganglia)、Ganglia web 准备 yum加入 epel 源 rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-...

weixin_30922589的博客 223

Zemax操作40--序列模式中LD光源模拟

LD模拟

lzy750750的博客 9124

YOLOv8与UNetV2融合:一种面向目标检测与图像分割的混合方法【附核心代码】

我们提出了一种基于YOLOv8和UNetV2相结合的混合架构。该架构利用YOLOv8作为主干进行目标检测,同时在YOLOv8的特征提取过程中,引入UNetV2来进行图像分割任务的增强。在该架构中,YOLOv8负责大范围目标检测和位置预测,而UNetV2则在检测网络的特征图基础上,通过其高效的上下文信息提取和细节恢复能力,进一步优化分割任务。在本文中,我们提出了一种改进YOLOv8的方法,通过引入图像分割网络UNetV2来提高图像分割检测性能。

一键难忘的博客 3526

ganglia 安装

主机IP地址为192.168.138.22 主机操作系统版本:(选择基本安装) [root@localhost rpm-gpg]# lsb_release  -a LSB Version:    :core-4.0-amd64:core-4.0-noarch:graphics-4.0-amd64:graphics-4.0-noarch:printing-4.0-amd64:printing-

滴水穿石 6404

手把手教你学Simulink——基于智能电网与AI融合的场景实例:强化学习在并网逆变器控制中的应用

本文介绍了如何利用Simulink和强化学习工具包实现并网逆变器的智能控制。针对传统PI控制方法的局限性,提出采用强化学习(RL)构建自适应控制系统。通过详细步骤展示了从建立主电路模型、设计强化学习环境、选择训练智能体(如PPO算法)到仿真对比测试的全过程。实验结果表明,RL控制器在动态响应、THD指标和参数鲁棒性等方面优于传统PI控制器,突显了数据驱动控制在复杂电力系统中的优势。文章还探讨了该技术在微电网协同控制、在线学习等场景的拓展应用,为智能电网控制提供了新思路。

MHD0815的博客 337

云监控 Ganglia 安装步骤 (含python module)

摘要 最近在研究云监控的相关工具,感觉ganglia颇有亮点,能从一个集群整体的角度来展现数据. 但是安装过程稍过复杂,相关依赖稍多,故写此文章与大家分享下. 本文不讲解相关原理,若想了解请参考其他资料. 本文目的: 即使之前未触过ganglia,也能按照文中步骤搭建自己的ganglia监控集群. 云监控 ganglia gmond gmetad 目录[-] 前言

lantian0802的专栏 1020

uniapp:人脸识别功能,已测试,直接复制源码,支持H5,APP安卓。不依赖任何js,SDK。

uniapp人脸识别功能,已测试可直接复制源码,支持H5,APP安卓。不依赖任何js,SDK。 APP效果图:

sunluyi的博客 2226

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

extended the postgresql metric python module on ganglia

本文主要拿PostgreSQL ganglia python module 来讲一下如何扩展这个模块, 增加我们想要的监控项. 首先要了解一下metric的数据类型, 以及各字段的含义, 以帮助了解如何自定义metric模块. http://blog.163.com/digoal@126/blog/static/16387704020148183591...

weixin_33755649的博客 178

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

Ganglia python扩展 - mod_python.c源码分析(1)

本文参考Ganglia 3.7.2版本代码完成。   代码一开始就定义了2个指向NULL的数组指针metric_info和metric_mapping_info,这是两个全局变量,其值在metric_init中初始化(metric_init函数把metric字典解析后存入这两个数组),然后在call back函数中展开,这样就完成了2个函数之间数据传递。     函数解读...

亚信大数据平台 钨(W) 203

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

Gmond扩展Python模块

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_33711641的博客 261

Logster故障排除指南:常见问题与解决方案大全

Logster是一款强大的日志解析和监控工具,能够从日志文件中提取指标并发送到Graphite、Ganglia等监控系统。然而在使用过程中,用户可能会遇到各种问题。本指南为您提供完整的Logster故障排除解决方案,帮助您快速诊断和解决常见问题。😊 ## 一、Logster安装与配置问题 ### 1.1 Python环境兼容性问题 **问题描述:** 安装Logster时出现Python版

gitblog_00196的博客 331

避坑指南:从源码到运行,ThingsBoard本地部署的实战经验与疑难解析

本文详细介绍了ThingsBoard本地部署的实战经验与疑难解析,涵盖从源码安装到运行的全过程。重点分享了环境准备、源码构建、数据库配置、启动排错等关键步骤中的常见问题与解决方案,帮助开发者高效完成ThingsBoard本地部署,避免常见陷阱。

weixin_33713503的博客 325

大数据平台监控(一):Ganglia在集群中快速安装方案

Ganglia是UC Berkeley发起的一个开源集群监视项目,设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能,如:cpu、mem、硬盘利用率,I/O负载、网络流量情况等,通过曲线很容易见到每个节点的工作状态,对合理调整、分配系统资源,提高系统整体性能起到重要作用。利用ganglia监控整个大数据平台,可以显著的提高平台的运维效率。

4973
上一篇: httpd: Could not reliably determine the server's fully qualified domain name, using 127.0.0
下一篇: There was an error collecting ganglia data (127.0.0.1:8652): fsockopen error: Permission denied
迷途小码
博客等级 码龄19年 71粉丝 95原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值