ELK日志收集

ELK日志收集

客户端:(必须时间同步)

安装java环境**

yum install -y java

安装elk所需的安装包

elasticsearch-6.6.0.rpm
filebeat-6.6.0-x86_64.rpm
kibana-6.6.0-x86_64.rpm

配置elasticsearch服务

[root@elk soft]# grep -Ev '^$|^#' /etc/elasticsearch/elasticsearch.yml 
node.name: node-1 (注释打开)
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 10.0.0.88,127.0.0.1 (添加IP)
http.port: 9200 (注释打开)

-Xms1g
-Xmx1g  最小最大1G 不论内存多大 都占用1G内存

启动elasticsearch

systemctl daemon-reload
systemctl start elasticsearch.service
netstat -lntup|grep 9200
curl 127.0.0.1:9200

在windows上解压es-head-0.1.4_0.crx包

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZtyUSute-1571709200342)(C:\Users\86132\AppData\Roaming\Typora\typora-user-images\1570365510908.png)]

打开谷歌浏览器

一次点击  更多工具---扩展程序---加载已解压的扩展程序---选择之前解压的es-head-0.1.4_0.crx包---点击右上角小人图标---更改url中的localhost为虚拟机IP地址---点击链接

配置kibana配置文件

[root@elk soft]# grep -Ev '^$|^#' /etc/kibana/kibana.yml 
server.port: 5601 (注释打开)
server.host: "10.0.0.88" (注释打开)
elasticsearch.hosts: ["http://localhost:9200"]
kibana.index: ".kibana"(注释打开)

启动kibana服务

 systemctl start kibana
 netstat -lntup| grep 5601

浏览器访问虚拟机外网IP:5601

刚开始会出现 Kibana server is not ready yet 稍等一下刷新就好 ---页面选择Explore on my own --- 后面选择no

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FU0ZFjVS-1571709200384)(C:\Users\86132\AppData\Roaming\Typora\typora-user-images\1570366152416.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ISNG8HNW-1571709200387)(C:\Users\86132\AppData\Roaming\Typora\typora-user-images\1570366187761.png)]

安装nginx服务

直接启动nginx 并刷新几次 查看日志 

配置filebeat配置文件 (类似于tail-f)

filebeat.inputs:
- type: log
  enabled: true
paths:
  - /var/log/nginx/access.log
output.elasticsearch:
  hosts: ["10.0.0.88:9200"]
  index: "nginx-%{[beat.version]}-%{+yyy.MM}"
setup.template.name: "nginx" (把模板名称该为nginx)
setup.template.pattern: "nginx-*" (匹配nginx-到结尾)
setup.template.enabled: false (不起用默认名称)
setup.template.overwrite: true (覆盖名称)

启动filebeat

systemctl start filebeat.service 

浏览器Elasticsearch页面重新连接下

浏览器kibana页面端

点击Management--- index Patterns----复制下方nginx版本加时间的那项----粘贴到index pattern下面----点击next step----选择@timestamp----点击create index pattern----生成后点击Discover 完成

原创：蘑菇有毒
youfeng