大数据集群资源监控Zabbix

概述

• 大数据集群监控，包括资源监控和进程监控
  监控的资源如：内存、CPU、硬盘、硬盘IO…
  监控的进程如：NameNode、DataNode…

监控项	示例命令
内存	free
CPU	top
硬盘	df、du
进程	top、ps
硬盘IO	iotop
YARN资源	yarn top
HDFS硬盘使用	hadoop fs -df、hadoop fs -du -s

• 使用命令不能满足需求，我们需要报警功能以及友好的用户界面，于是引入Zabbix

• Zabbix是企业级开源监控解决方案
  支持实时监控数万台服务器、虚拟机和网络设备，采集百万级监控指标

Zabbix架构简图

Zabbix部署

部署规划	hadoop105	hadoop106	hadoop107
zabbix-agent	1	1	1
zabbix-server	1
zabbix-web	1

下述操作使用root，非root用户需要sudo

1、安全相关配置

关闭防火墙（所有节点）

systemctl disable firewalld
systemctl stop firewalld

关闭 SELinux（zabbix-server所在节点）

vim /etc/selinux/config

SELINUX=disabled

关闭 SELinux 后，按需重启

reboot

2、安装Zabbix

配置Zabbix的yum源（所有节点）

rpm -Uvh https://mirrors.aliyun.com/zabbix/zabbix/5.0/rhel/7/x86_64/zabbix-release-5.0-1.el7.noarch.rpm

安装Software Collections仓库（所有节点）

yum install -y centos-release-scl

修改Zabbix的yum源配置，使用阿里云镜像（所有节点）（可选）

sed -i 's/http:\/\/repo.zabbix.com/https:\/\/mirrors.aliyun.com\/zabbix/g' /etc/yum.repos.d/zabbix.repo

修改Zabbix的yum源配置，批准Zabbix前端（zabbix-web所在节点）

vim /etc/yum.repos.d/zabbix.repo

[zabbix-frontend]
enabled=1

安装zabbix-server、zabbix-web、web容器（hadoop105）

yum install -y zabbix-server-mysql zabbix-web-mysql-scl zabbix-apache-conf-scl

安装zabbix-agent（所有节点）

yum install -y zabbix-agent

3、配置Zabbix

在MySQL建库，用于存储Zabbix的数据（数据库所在节点，本文为hadoop105）

mysql -uroot -p123456 -e'create database zabbix character set utf8 collate utf8_bin'

导入Zabbix建表语句

zcat /usr/share/doc/zabbix-server-mysql-5.0.*/create.sql.gz | mysql -uroot -p密码 zabbix

配置Zabbix-Server的数据库连接参数（hadoop105）

vim /etc/zabbix/zabbix_server.conf

DBHost=hadoop105
DBName=zabbix
DBUser=root
DBPassword=123456

配置Zabbix-Web时区（hadoop105）

vim /etc/opt/rh/rh-php72/php-fpm.d/zabbix.conf

php_value[date.timezone] = Asia/Shanghai

配置Zabbix-Agent地址（所有节点）

vim /etc/zabbix/zabbix_agentd.conf

Server=hadoop105

Zabbix-Web的数据库连接配置等下去页面配

4、启动Zabbix

启动zabbix-server和Zabbix前端（hadoop105）

systemctl start zabbix-server httpd rh-php72-php-fpm
systemctl enable zabbix-server httpd rh-php72-php-fpm
systemctl status zabbix-server httpd rh-php72-php-fpm

启动zabbix-agent（所有节点）

systemctl start zabbix-agent
systemctl enable zabbix-agent
systemctl status zabbix-agent

5、首次访问前端用户界面

1. 浏览器访问http://hadoop105/zabbix/（没写端口是因为它默认80）
2. 配置数据库连接参数，和上面一致