ELK日志平台搭建与使用

最新推荐文章于 2023-08-11 21:37:36 发布

原创最新推荐文章于 2023-08-11 21:37:36 发布 · 403 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#elk #docker #filebeat

docker 同时被 2 个专栏收录

6 篇文章

订阅专栏

elk

1 篇文章

订阅专栏

ElasticSearch Logstash Kibana Filebeat 搭建与使用

日志介绍

日志主要包括系统日志、应用程序日志和安全日志。
开发人员可以通过日志了解服务器软硬件信息程序运行中的错误及原因。
通常，日志被分散在储存不同的设备上。
因此需要集中起来方便管理。
集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，
但是不够方便与可视化。
开源实时日志分析ELK平台能够完美的解决我们上述的问题

日志去向

日志分析

.log -> flume -> kafka -> hdfs -> mapreduce/spark -> hbase/*
日志监控

.log -> filebeat -> logstash -> elasticSearch

包含功能

1）收集－能够采集多种来源的日志数据
2）传输－能够稳定的把日志数据传输到指定机器
3）存储－存储日志数据
4）分析－可以支持 UI 分析

搭建环境

由于服务并不是太多选择单节点模式，若服务应用较多则选择集群模式搭建

使用docker容器启动相应服务

配置文件准备

ElasticSearch
```
暂时不需要
```

Logstash

logstash.conf

 input {
   beats {
     port => "5044"
   }
 }
 
 filter {
         mutate {
             split => ["source","/"]
                 add_field => {
                     "temp" => "%{[source][4]}"
                 }
             remove_tag => ["beats_input_codec_plain_applied"]
         }
         mutate{
            split => ["temp","."]
                 add_field => {
                     "level" => "%{[temp][0]}"
                 }
            remove_field => [ "temp" ]
         }
 }
 output {
   stdout { codec => rubydebug }
   elasticsearch  {
                 hosts => ["http://xxxxxx:xxx"]
                 index => "%{[@metadata][beat]}-%{[tags]}-%{+YYYY.MM.dd}"
                 document_type => "logs"
   }
 
 }

logstash.yml

# Options for log.level:
#   * fatal
#   * error
#   * warn
#   * info (default)
#   * debug
#   * trace
#
 log.level: info
 path.logs: /var/log/logstash

Filebeat

filebeat.yml

filebeat.prospectors:
  - input_type: log
    paths:
      # 指定服务日志路径
      - /var/logs/xxxxx/*.log
    multiline:
      pattern: '^\s*("{)'
      negate: true
      match: after
      max_lines: 1000
      timeout: 30s
    # 指定服务tag 用于es index
    tags: ["xxxx"]
  - input_type: log
    paths:
      - /var/logs/xxxx/*.log
    tags: ["xxx"]
output:
  logstash:
    # 输出到logstash地址和端口号
    hosts: ["xxxxx:5044"]

Nginx

nginx.conf

#user  nobody;
worker_processes  1;
#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;
#pid        logs/nginx.pid;
events {
  worker_connections  1024;
}
http {
  include       mime.types;
  default_type  application/octet-stream;
  #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
  #                  '$status $body_bytes_sent "$http_referer" '
  #                  '"$http_user_agent" "$http_x_forwarded_for"';
  #access_log  logs/access.log  main;
  sendfile        on;
  #tcp_nopush     on;
  #keepalive_timeout  0;
  keepalive_timeout  65;
  #gzip  on;
  upstream kibana{
    server xxxx:5601 weight=1;
  }
  server {
    listen xxxx;
    server_name localhost;
    location / {
      auth_basic "auth for kibana";
      auth_basic_user_file /etc/nginx/htpasswd;
      proxy_pass http://kibana;
    }
  }
}

准备挂在路径拷贝文件修改权限

mkdir -p /opt/data/{elasticsearch,filebeat,kibana,logstash,nginx}/{data,logs}

mkdir -p /opt/data/logstash/{config,pipeline}

cp logstash.conf /opt/data/logstash/pipeline

cp logstash.yml /opt/data/logstash/config

cp filebeat.yml /opt/data/kibana

cp nginx.conf  /opt/data/nginx

printf "xxxxx:$(openssl passwd -crypt xxxxx)\n" >> ./htpasswd

cp ./htpasswd /etc/nginx/

chmod o+rw -R /opt/data

启动

ElasticSearch

 docker run -itd --rm -9200:9200 -p9300:9300 --name es -v /opt/data/elasticsearch/logs:/usr/share/elasticsearch/logs -v /opt/data/elasticsearch/data:/usr/share/elasticsearch/data  -e "discovery.type=single-node" elasticsearch:6.5.1

Logstash

  docker run -itd --rm -p5044:5044 -p9600:9600 --name ls -v /opt/data/logstash/config/logstash.yml:/usr/share/logstash/config/logstash.yml -v /opt/data/logstash/pipeline/logstash.conf:/usr/share/logstash/pipeline/logstash.conf -v /opt/data/logstash/data/:/usr/share/logstash/data/ logstash:6.5.1

Filebeat

  docker run --rm --name fb -it -v /opt/data/filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml -v /var/logs/:/var/logs/  docker.elastic.co/beats/filebeat:6.5.1

kibana

 docker run -itd --rm -p5601:5601 --name kb -v /opt/data/kibana/data:/usr/share/kibana/data -e ELASTICSEARCH_URL=http://xxxxx:9200 kibana:6.5.1

Nginx(由于elk没有认证服务所以使用nginx作为认证服务)

  docker run --rm --name ng -v /opt/data/nginx/nginx.conf:/etc/nginx/nginx.conf -v /opt/data/nginx/htpasswd:/etc/nginx/htpasswd -p xx:xx  -itd nginx

新的应用接入

创建日志目录

在/var/logs/下创建相应的目录如模块名字叫 xxxx 则新建目录/var/logs/xxxx

将应用docker镜像中服务日志挂载到 /var/logs/xxxx即可
当前服务器已存在filebeat

修改当前服务中的filebeat配置文件如下
```
  - input_type: log
       paths:
         - /var/logs/xxxx/*.log
       tags: ["push"]
```
重启filebeat
当前服务不存在filebeat
新起filebeat docker容器配置如上所述