ELK6.6.0部署及kibana绘图

1.官方地址

https://www.elastic.co

2.安装配置JAVA环境

[root@localhost local]# vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.8
export PATH=$JAV{A}_{H}OME/bin:$PATH
export CLASSPATH=.:$JAV{A}_{H}OME/lib/dt.jar:$JAVA_HOME/lib
[root@localhost ~]# java -version
java version “1.8.0_91”
Java™ SE Runtime Environment (build 1.8.0_91-b14)
Java HotSpot™ 64-Bit Server VM (build 25.91-b14, mixed mode)

3.更新时间

yum –y install ntpdate
ntpdate time1.aliyun.com

4.下载安装包

RPM包
wget https://artifacts.elastic.co/downloads/kibana/kibana-6.6.0-x86_64.rpm
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.6.0.rpm
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.6.0-x86_64.rpm
wget https://artifacts.elastic.co/downloads/logstash/logstash-6.6.0.rpm
源码包
wget https://artifacts.elastic.co/downloads/kibana/kibana-6.6.0-linux-x86_64.tar.gz
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.6.0.tar.gz
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.6.0-linux-x86_64.tar.gz
wget https://artifacts.elastic.co/downloads/logstash/logstash-6.6.0.tar.gz

5.安装elasticsearch

rpm -ivh elasticsearch-6.6.0.rpm

5.1配置elasticsearch（操作之前备份原始配置文件）
cd /etc/elasticsearch
vim elasticsearch.yml
修改elasticsearch.yml以下内容：
node.name: node- 1
path.data: data/elasticsearch
path. logs: / var/log/elasticsearch
network .host: 192.168.1.21,127 .0.0.1
http.port: 9200
启动elasticsearch：
systemctl restart elasticsearch
日志路径：
/var/log/elasticsearch/elasticsearch.log
在ES-head连接查看如下图视为启动成功

5.2 ES-head安装方法
https://help.aliyun.com/document_detail/120755.html?spm=a2c4g.11186623.6.595.28e15700VzXJap
没有ES-head的话访问http://IP:9200/如下图视为启动成功

6.安装kibana

rpm -ivh kibana-6.6.0-x86_64.rpm

6.1修改kibana配置文件
[root@localhost ~]# cd /etc/kibana/
[root@localhost kibana]# vim kibana.yml
修改以下内容：
server.port: 5601
server.host: “10.0.0.51”
server.name: “localhost”
Lasticsearch.hosts: [“http:/192.168.1.21:9200”]
ibana. index: “.kibana”
6.2启动或停止kibana
systemctl start kibana
systemctl stop kibana
在浏览器访问http://IP:5601/
如下图则启动成功：

在ES-head中会有一个.kibana_1的索引，如下图：

7.安装filebeat

rpm -ivh filebeat-6.6.0-x86_64.rpm

修改filebeat配置文件（整理以收集nginx日志为例）注意nginx日志用json格式最优

8.安装Redis

tar xf redis-4.0.10.tar.gz
cd redis-4.0.10
make
make PREFIX=/usr/local/redis install
在安装redis成功后，你将可以在/usr/local/redis看到一个bin的目录，里面包括了以下文件
redis-benchmark redis-check-aof redis-check-dump redis-cli redis-server
复制配置文件到etc下
mkdir /etc/redis
cd ~/redis-4.0.10
cp redis.conf /etc/redis/
注释点bind 127.0.0.1
ln -s /usr/local/redis/bin/* /usr/local/bin/
启动
nohup /usr/local/redis/bin/redis-server /etc/redis/redis.conf &

[root@centos6 redis]# netstat -antp |grep redis
tcp 0 0 127.0.0.1:6379 0.0.0.0:* LISTEN 51407/redis-server
基础命令
Kyes * 查看所有key
Type (key) 查看key类型
LLEN （key） 查看key长度
LRANGE（key） 查看key的值
del (key) 删除key

9.安装logstash

rpm -ivh logstash-6.6.0.rpm

修改配置文件如下：
cd /etc/logstash/conf.d/
vim redis.conf

启动命令
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/redis.conf (启动较慢，请耐心等待)
启动成功后如下图：

日志格式为：

10.添加索引

10.1访问kibana http://192.168.1.21:5601

10.2添加索引





至此索引就添加完成了

11.查看日志及过滤日志

添加要查看的项，如客户端IP，访问主机IP，浏览器类型等等。。。

整体效果如下图：

例：过滤状态码为404的日志

效果如下：

12.kibana绘图

12.1绘制访问量前10的IP






12.2绘制状态码占比饼图



12.3绘制访问前3的URL数据图

13.将绘制的图添加到仪表板

14.配置多个机器

注意修改在filebeat添加tags标签，如下图：

当多台机器将日志传送至Redis时logstash将通过标签来创建索引，配置如下：

15.kibana监控ES

观察ES-head会有一个新的索引，如下图：