ELK日志分析

Node1节点（6C/8G）：node1/192.168.100.133					Elasticsearch  Kibana
Node2节点（6C/8G）：node2/192.168.100.134					Elasticsearch
Apache节点：apache/192.168.80.130 					        Logstash  Apache


systemctl stop firewalld
setenforce 0

二、ELK Elasticsearch 集群部署（在Node1、Node2节点上操作）

1．环境准备

#更改主机名、配置域名解析、查看Java环境
Node1节点：hostnamectl set-hostname node1
Node2节点：hostnamectl set-hostname node2

vim /etc/hosts
192.168.102.133 node1
192.168.102.134 node2


java -version										#如果没有安装，yum -y install java
openjdk version "1.8.0_181"
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)

2．部署 Elasticsearch 软件

（1）安装elasticsearch—rpm包

上传elasticsearch-5.5.0.rpm到/opt目录下

cd /opt
rpm -ivh elasticsearch-5.5.0.rpm 

 （2）加载系统服务

systemctl daemon-reload    
systemctl enable elasticsearch.service

 （3）修改elasticsearch主配置文件

cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak

vim /etc/elasticsearch/elasticsearch.yml
--17--取消注释，指定集群名字
cluster.name: my-elk-cluster
--23--取消注释，指定节点名字：Node1节点为node1，Node2节点为node2
node.name: node1
--33--取消注释，指定数据存放路径
path.data: /data/elk_data
--37--取消注释，指定日志存放路径
path.logs: /var/log/elasticsearch/
--43--取消注释，改为在启动的时候不锁定内存
bootstrap.memory_lock: false
--55--取消注释，设置监听地址，0.0.0.0代表所有地址
network.host: 0.0.0.0
--59--取消注释，ES 服务的默认监听端口为9200
http.port: 9200
--68--取消注释，集群发现通过单播实现，指定要发现的节点 node1、node2
discovery.zen.ping.unicast.hosts: ["node1", "node2"]

grep -v "^#" /etc/elasticsearch/elasticsearch.yml

 （4）创建数据存放路径并授权

mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/

 （5）启动elasticsearch是否成功开启

systemctl start elasticsearch.service
netstat -antp | grep 9200

 （6）查看节点信息

浏览器访问  http://192.168.102.133:9200  查看节点 Node1 的信息。
           http://192.168.102.134:9200  查看节点 Node2 的信息。

浏览器访问 http://192.168.102.133:9200/_cluster/health?pretty  、 
          http://192.168.102.134:9200/_cluster/health?pretty 
#查看群集的健康情况，可以看到 status 值为 green（绿色）， 表示节点健康运行。

浏览器访问 http://192.168.102.133:9200/_cluster/state?pretty  检查群集状态信息

 使用上述方式查看群集的状态对用户并不友好，可以通过安装 Elasticsearch-head 插件，可以更方便地管理群集。

3．安装 Elasticsearch-head 插件

Elasticsearch 在 5.0 版本后，Elasticsearch-head 插件需要作为独立服务进行安装，需要使用npm工具（NodeJS的包管理工具）安装。
安装 Elasticsearch-head 需要提前安装好依赖软件 node 和 phantomjs。
node：是一个基于 Chrome V8 引擎的 JavaScript 运行环境。
phantomjs：是一个基于 webkit 的JavaScriptAPI，可以理解为一个隐形的浏览器，任何基于 webkit 浏览器做的事情，它都可以做到。

（1）编译安装 node

上传软件包 node-v8.2.1.tar.gz 到/opt
yum install gcc gcc-c++ make -y

cd /opt
tar zxvf node-v8.2.1.tar.gz

cd node-v8.2.1/
./configure && make -j6 && make install

 （2）安装 phantomjs

上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到
cd /opt
tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin

 （3）安装 Elasticsearch-head 数据可视化工具

上传软件包 elasticsearch-head.tar.gz 到/opt
cd /opt
tar zxvf elasticsearch-head.tar.gz -C /usr/local/src/
cd /usr/local/src/elasticsearch-head/
npm install

 （4）修改 Elasticsearch 主配置文件

vim /etc/elasticsearch/elasticsearch.yml
......
--末尾添加以下内容--
http.cors.enabled: true				#开启跨域访问支持，默认为 false
http.cors.allow-origin: "*"			#指定跨域访问允许的域名地址为所有

systemctl restart elasticsearch

（5）启动 elasticsearch-head 服务

必须在解压后的 elasticsearch-head 目录下启动服务，进程会读取该目录下的 gruntfile.js 文件，否则可能启动失败。
cd /usr/local/src/elasticsearch-head/
npm run start &

> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt server

Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100

#elasticsearch-head 监听的端口是 9100
netstat -natp |grep 9100

 （6）通过 Elasticsearch-head 查看 Elasticsearch 信息

通过浏览器访问 http://192.168.102.133:9100/ 地址并连接群集。如果看到群集健康值为 green 绿色，代表群集很健康。

 （7）插入索引

#通过命令插入一个测试索引，索引为 index-demo，类型为 test。

curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'

//输出结果如下：
{
  "_index" : "index-demo",
  "_type" : "test",
  "_id" : "1",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "created" : true
}

 浏览器访问 http://192.168.102.133:9100/ 查看索引信息，可以看见索引默认被分片5个，并且有一个副本。
点击“数据浏览”，会发现在node1上创建的索引为 index-demo，类型为 test 的相关信息。