ELK日志系统搭建_systemctl start elasticsearch-优快云博客

本文链接：https://blog.youkuaiyun.com/m0_73298908/article/details/136582869

ELK是一个非常常用的日志管理解决方案，由三个开源软件组成。

1、Elasticsearch：用于存储、搜索和分析大量数据的分布式实时搜索和分析引擎。

Elasticsearch可以快速地存储、搜索和分析海量的数据，并且具有高可用性和扩展性。

2、Logstash：用于收集处理和转发日志和时间数据的数据处理管道。

Logstash可以从多个来源收集数据，对数据进行处理和转换，然后将数据发送到Elasticsearch等目标存储中。

3、Kibana：用于可视化和分析Elasticsearch中存储的数据的开源数据可视化工具。kibana提供了丰富的图表、表格和地图等可视化工具，帮助用户更直观地理解和分析数据。

ELK 组合通常用于日志管理、监控和安全分析等场景。用户可以使用Logstash收集各种来源的日志数据，通过Elasticsearch存储这些数据，并使用Kibana进行数据可视化和分析。ELK 提供了强大的功能和灵活性，使用户能够有效地管理和分析大规模的日志数据，从而实现实时监控、故障排除和安全分析等目的。

搭建ELK安装包在网盘中下载

链接：https://pan.baidu.com/s/15fOTqfIl4llZ72--8Nzs6A
提取码：tixi

部署环境：

192.168.8.10：Elasticsearch、Kibana

192.168.8.20：nginx、filebeat

192.168.8.30：Logstash、Redis

1、8.10主机安装Elasticsearch：

上传elasticsearch到linux虚拟机上！

rpm -ivh elasticsearch-6.6.0.rpm

2、修改配置文件：

vim /etc/elasticsearch/elasticsearch.yml

node.name: node-1 #名称和主机名保持一致
path.data: /data/elasticsearch #存储索引数据、文档数据、日志文件
path.logs: /var/log/elasticsearch #日志存放路径
network.host: 192.168.8.10,127.0.0.1 #输入本机ip地址
http.port: 9200 #端口号

3、创建数据目录，并修改权限

mkdir -p /data/elasticsearch 
chown -R elasticsearch.elasticsearch /data/elasticsearch/

4、重启elasticsearch

systemctl restart elasticsearch

在8.10主机上安装kibana

1、安装kibana

rpm -ivh kibana-6.6.0-x86_64.rpm

2、修改配置文件

vim /etc/kibana/kibana.yml

修改！！

server.port: 5601         #删除警号

server.host: "192.168.8.10"        #本机的ip地址

server.name: "db01"     #自己所在主机的主机名

elasticsearch.hosts: ["http://192.168.8.10:9200"]   #es服务器的ip，便于接收日志数据

保存退出

3、启动kibana

systemctl start kibana

测试访问kibana和Elasticsearch

在8.20主机上安装nginx、filebeat

1、安装nginx：

yum install epel-release

yum install nginx

2、安装filebeat：

rpm -ivh filebeat-6.6.0-x86_64.rpm

3、修改filebeat配置output指向redis，删除配置文件原有的内容，添加下面
vim /etc/filebeat/filebeat.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["access"]

- type: log
  enabled: true
  paths:
    - /var/log/nginx/error.log
  tags: ["error"]

setup.template.settings:
  index.number_of_shards: 3

setup.kibana:

output.redis:
  hosts: ["192.168.8.30"]
  key: "filebeat"
  db: 0
  timeout: 5

启动filebeat

systemctl start filebeat

8.30主机上安装Redis和logstash

1、安装Redis，并启动：

准备安装和数据目录

mkdir -p /data/soft
mkdir -p /opt/redis_cluster/redis_6379/{conf,logs,pid}

2、下载redis安装包

cd /data/soft
wget http://download.redis.io/releases/redis-5.0.7.tar.gz

3、解压redis到/opt/redis_cluster/

tar xf redis-5.0.7.tar.gz -C /opt/redis_cluster/
ln -s /opt/redis_cluster/redis-5.0.7  /opt/redis_cluster/redis

4、切换目录安装redis

cd /opt/redis_cluster/redis
make && make install

5、修改配置文件

vim /opt/redis_cluster/redis_6379/conf/6379.conf
添加：

bind 127.0.0.1 192.168.8.30
port 6379
daemonize yes
pidfile /opt/redis_cluster/redis_6379/pid/redis_6379.pid
logfile /opt/redis_cluster/redis_6379/logs/redis_6379.log
databases 16
dbfilename redis.rdb
dir /opt/redis_cluster/redis_6379

6、启动当前redis服务

redis-server /opt/redis_cluster/redis_6379/conf/6379.conf

7、测试访问网站，登录redis，查看键值
redis-cli               #登录
keys *                   #列出所有键
type filebeat             #filebeat为键值名
LLEN filebeat           #查看list长度
LRANGE filebeat 0 -1    #查看list所有内容

8、安装logstash，收集redis的日志，提交给es
（1）安装logstash(安装包提前放在了/data/soft下)

cd /data/soft/
rpm -ivh logstash-6.6.0.rpm

（2）修改logstash配置文件，实现access和error日志分离
注：mutate和grok是filter过滤选项，grok负责match正则过滤匹配，
mutate负责convert数据类型转换。

vim /etc/logstash/conf.d/redis.conf
添加：

input {
  redis {
    host => "192.168.8.30"
    port => "6379"
    db => "0"
    key => "filebeat"
    data_type => "list"
  }
}

filter {
  mutate {
    convert => ["upstream_time","float"]
    convert => ["request_time","float"]
  }
}

output {
  stdout {}
   if "access" in [tags] {
    elasticsearch {
      hosts => ["http://192.168.8.10:9200"]
      index => "nginx_access-%{+YYYY.MM.dd}"
      manage_template => false
    }
   }
   if "error" in [tags] {
    elasticsearch {
      hosts => ["http://192.168.8.10:9200"]
      index => "nginx_error-%{+YYYY.MM.dd}"
      manage_template => false
    }
   }
}

保存退出
重启logstash:

/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/redis.conf

添加日志视频在网盘中！！！