jiedaodezhuti的博客

1.准备工作 安装go、glibe(需要连google服务器，咋连的，我就不写了，因为尝试了各种办法，都失败了，很伤心)2.下载hadoop_exportercd /usr/local/prom/exporter git clone https://github.com/Datatamer/hadoop_exportercd hadoop_exporterglide installgo get github.com/prometheus/client_golang/prometheusgo get

Kafka 基本概念kafka是一种高吞吐量的分布式发布/订阅消息系统。业务需求模型，即生产者生产（Produce）各种数据，消费者（Consume）消费（分析、处理）这些数据。这就需要在生产者与消费者之间，建立一个通信的桥梁，这个桥梁就是消息系统。2.kafka术语Broker：Kafka 集群包含一个或多个服务器，每个服务器被称为 Broker。Topic：每条发布到 Kafka 集群的消息都有一个分类，这个类别被称为 Topic（主题）。Producer：消息的生产者，负责发布消息到 K.

1.node_exporter用户监控节点虚拟机的指标信息。下载地址：https://github.com/prometheus/node_exporter/releases/download/v0.17.0-rc.0/node_exporter-0.17.0-rc.0.linux-386.tar.gz2.jmx_exporter下载地址：https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.3.1/j

Flink支持多种监控指标的汇报reporter，例如jmx、slf4j、Prometheus、InfluxDB等。Grafana+Prometheus是当前比较流行的监控可视化解决方案。如下图为Prometheus及相关组件组成的生态系统。

本文采用kafka_exporter对kafka进行监控，该方式的优点在于不需要消耗JVM资源，且指标的收集时间从分钟降为秒级别，方便实现大规模集群的监控。技术架构图片引用：https://zhuanlan.zhihu.com/p/57704357部署kafka_exporter下载kafka_exporter地址：https://github.com/danielqsj/kafka_exporter/releases/download/v1.2.0/kafka_exporter-1.2.0.l

修复tomcat漏洞，选择修改配置文件首先查看tomcat运行状态：ps -ef|grep java查看是否有tomcat进程修改配置文件具体步骤最后，重启tomcat。进入tomcat下的bin目录[root@hh ~]# cd /srv/tomcat-8.5.33/bin[root@hh bin]# ./shutdown.sh查看tomcat关闭状态如果出现以下信息，则...

Ambari是Hortonworks开源的Hadoop平台的管理软件，具备Hadoop组件的安装、管理、运维等基本功能，提供Web UI进行可视化的集群管理，简化了大数据平台的安装、使用难度。一、环境准备1.host配置配置自己的服务器，配置成映射关系vi /etc/hosts如:192.168.128.130 master192.168.128.131 slave1192.168...

Prometheus+Grafana监控集群1.安装Grafana1.1下载并安装下载地址：https://grafana.com/grafana/download选择最新版本进行安装，安装网站的提示运行脚本即可。离线快速安装部署：wget https://dl.grafana.com/oss/release/grafana-6.3.3-1.x86_64...

工作中因为各种原因，topic中消息堆积的太多或者kafka所在磁盘空间满了等。可能需要彻底清理一下kafka topic。cd /opt/kafka/kafka_2.10-0.10.2.2/bin列出所有topic:./kafka-topics.sh --zookeeper ip:2181 -list其实就是检查zk上节点的/brokers/topics子节点，打印出来。创建topic...

Linux 内存告警配置问题：Template variables are not supported in alert queries解决办法：单独配置个告警的视图，用正则匹配出所有的主机 或者 每台主机单独一个查询语句...

修改grafana的配置文件grafana的配置文件默认是在 /etc/grafana/grafana.ini修改如下：[smtp]enabled = true #是否允许开启host = smtp.exmail.qq.com:465 #发送服务器地址password = 你的密码;cert_file =;key_file =;skip_verify = falsef...

1.安装Grafana1.1下载并安装下载地址：https://grafana.com/grafana/download选择最新版本进行安装，安装网站的提示、运行脚本即可。离线快速安装部署：wget https://dl.grafana.com/oss/release/grafana-6.3.3-1.x86_64.rpmsudo yum localinstall grafana-6.3...