快速让你搞定 ELK 安装部署

版本说明

• CentOS 7.2
• elasticsearch-6.6.0.tar.gz
• kibana-6.6.0-linux-x86_64.tar.gz
• logstash-6.6.0.tar.gz

安装包获取链接

链接：https://pan.baidu.com/s/1bs1kBuFAvVbPcEEALG1dsg
提取码：txnd

安装 es

修改Linux配置

• 修改内核参数

打开 sysctl.conf 文件
vim /etc/sysctl.conf
sysctl.conf 文件添加如下内容
fs.file-max=65536
vm.max_map_count=262144
刷新配置
sysctl -p

• 设置资源参数（前面的 “*” 表示该配置对所有用户生效）

vim /etc/security/limits.conf
 * soft nofile 65536
 * hard nofile 131072
 * soft nproc  2048
 * hard nproc  4096

• 修改进程数

vim /etc/security/limits.d/20-nproc.conf
添加如下内容（有则修改，无则添加）
 * soft nproc 4096

• 配置完成后，关闭 XShell 的连接窗口重新打开一个，否则不会对当前的用户生效
• 创建一个新的用户，并赋予 es 安装目录的权限

useradd elasticsearch
passwd elasticsearch
密码自定义哦

• 给新用户授权

chown -R elasticsearch es 的安装目录

修改 es 的配置文件

• 进入 es 解压目录下的 confg 文件夹
• 打开 elasticsearch.yml 文件进行修改，配置如下：

# 配置es的集群名称, es会自动发现在同一网段下的es,如果在同一网段下有多个集群,就可以用这个属性来区分不同的集群｡
cluster.name: bi-cluster
# 节点名称
node.name: node-master
# 存储数据的目录
path.data: /home/elasticsearch/data
# 存储日志的目录
path.logs: /home/elasticsearch/logs
# 设置绑定的ip地址还有其它节点和该节点交互的ip地址
network.host: 0.0.0.0
# 指定http端口,你使用head､kopf等相关插件使用的端口
http.port: 9200
# 设置节点间交互的tcp端口,默认是9300
transport.tcp.port: 9300
#设置集群中master节点的初始列表,可以通过这些节点来自动发现新加入集群的节点｡
discovery.zen.ping.unicast.hosts: ["ip1:port1", "ip2:port2", "ip3:port3"]	
#如果没有这种设置,遭受网络故障的集群就有可能将集群分成两个独立的集群 - 分裂的大脑 - 这将导致数据丢失
discovery.zen.minimum_master_nodes: 3
http.cors.enabled: true        #es5.x版本以上需要，head访问
http.cors.allow-origin: "*"
#某些系统需要 是因为centos6.x操作系统不支持SecComp，而elasticsearch 5.5.2默认	bootstrap.system_call_filter为true进行检测，所以导致检测失败，失败后直接导致 es 不能启动。
bootstrap.memory_lock: false    
bootstrap.system_call_filter: false

• 打开 config 目录下的 jvm.options 文件，修改 es 启动的内存大小如下（默认是 1g 如果内存足够可不修改，生产环境根据自身需求来修改）

-Xms512m
-Xmx512m

启动 es

• 切换至新创建的用户

su elasticsearch

• 启动，进入 es 的目录后台启动

./bin/elasticsearch -d

• 验证是否启动成功

curl 127.0.0.1:19200

出现如下结果则启动成功

安装 kibana

• 解压 kibana-6.6.0-linux-x86_64.tar.gz

tar -xvf kibana-6.6.0-linux-x86_64.tar.gz

• 在 kibana.yml 文件添加如下配置

server.port: 访问 kibana 的端口
server.host: "0.0.0.0"
安装 es 的访问地址
elasticsearch.hosts: ["http://ip:port"]

• 启动 kibana

nohup ./bin/kibana &

• 验证 kibana 是否启动成功，使用命令打开日志文件

使用 3 步骤的命令允许 kibana 会将日志输出到 nohup.out文件中
tail -f nohup.out

• 如果启动成功，则可看到如下图所示
  

安装 logstash

• 解压 logstash-6.6.0.tar.gz

tar -zxvf logstash-6.6.0.tar.gz

• 进入 logstash-6.6.0/config 文件夹，修改 jvm.options 参数

默认是 1g，可根据实际需求修改
-Xms512m
-Xmx512m

• 创建 logstash.conf 配置文件并编辑

touch logstash.conf

文件内容如下

# 日志采集的入库
input {
        file {
                type => "log"
                ## 采集的路径，支持带 * 的正则表达式
                path => ["/home/*/mylog.log"]
                ## 从 end 开始读取，保证不会从头开始读，从上次读取的末尾开始
                start_position => "end"
                ignore_older => 0
                codec=> multiline {
                        ## 将换行的日志合并成一行，根据自身需求修改该正则
                        pattern => "^\d{4}-\d{1,2}-\d{1,2}\s\d{1,2}:\d{1,2}:\d{1,2}"
                        negate => true
                        ## 每 5 秒钟刷新一次，来做日志收集
                        auto_flush_interval => 5
                        ## 往前面合并
                        what => "previous"
                }
        }
        beats {
            ## 端口配置
            port => 5044
        }
}
## 输出的地方
output {
        if [type] == "log" {
                elasticsearch {
                        ## es 的路径
                        hosts => ["http://127.0.0.1:19200"]
                        ## 每一个月建立一个索引，可根据实际需求修改
                        index => "logstash-%{+YYYY.MM}"
                }
        }
}

• logstash 指定配置文件启动

./bin/logstash -f logstash.conf

• 如下图则启动成功
  
  至此，ELK 安装部署完成，感觉有用就点个赞吧！！！