单机版的ELK(仅供参考)

本文详细介绍了在CentOS 7.x环境下搭建ELK(ElasticSearch、Logstash、Kibana)堆栈的全过程,包括环境准备、各组件安装、配置及启动步骤,以及常见错误的解决方案。

说明:ELK三个组件的版本必须保持一致,否则会造成意想不到的ERROR。本次安装基于centos7.x版本进行。

安装前准备

    1、检查本地centos是否具有jdk8(最低要求)的环境,如果没有请安装jdk8

            ①、获取jdk8的安装包

                wget https://download.oracle.com/otn-pub/java/jdk/8u192-b12/750e1c8617c5452694857ad95c3ee230/jdk-8u192-linux-x64.tar.gz

            ②、解压安装包 tar -zxf jdk-8u192-linux-x64.tar.gz

            ③、配置环境变量 vi /etc/profile,添加如下配置:

                    export JAVAHOME=/opt/soft/java8/jdk1.8.0_192(本机jdk安装的位置)
                    export CLASSPATH=.:$JAVAHOME/jre/lib/rt.jar:$JAVAHOME/lib/dt.jar:$JAVAHOME/lib/tools.jar
                    export PATH=$PATH:$JAVAHOME/bin

            ④、source /etc/profile 加载资源文件,让jdk环境变量生效

                    

    2、在centos 中创建一个用户 elk 并授予sudo权限

        ①、创建用户

                useradd elk -m -U -p elk

                说明:【其中 -m 表示创建用户的主目录,在/home/username,-U 表示创建同名的组,-p表示密码】

        ②、给elk授权sudo,使用root用户,给elk用户授权sodo

                (一)、查找sudoers文件路径 whereis sudoers

                        

                (二)、查看sudoers文件权限

                       

                (三)、修改sudoers 文件具有可执行权限,并查看修改后权限修改sudoers文件

                        

                (四)、追加elk用户具有权限 vi /etc/sudoers

                       

                (五)、切换至elk用户之后,开始elk搭建之路:su elk

    3、创建好对应的文件夹目录,并切换至创建好的文件夹

        mkdir -p /opt/soft/elk

ElasticSearch(6.4.2)搭建

    1、获取官方的ElasticSearch安装包

            wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.2.tar.gz

    2、解压ElasticSearch6.4.2的安装包 tar -zxf elasticsearch-6.4.2.tar.gz

    3、进入解压后的目录,进入conf文件夹修改elasticsearch.yml配置文件(vi elasticsearch.yml)

                  

                    

                    

    4、启动elasticsearch。进入bin目录,执行 ./elasticsearch

    5、错误以及解决方案

        ①、can not run elasticsearch as root

            

            解决方案:不能用root用户启动,切换至之前我们创建的elk用户在继续启动

        

        ②、max file descriptors [65535] for elasticsearch process is too low, increase to at least [65536]

        ③、max number of threads [1024] for user [es] is too low, increase to at least [4096]

        ④、max virtual memory areas vm.maxmapcount [65530] is too low, increase to at least [262144]

        解决方案:

            切换到root用户

                1、vi /etc/security/limits.conf 修改如下配置

                    * soft nofile 65536

                    * hard nofile 131072

                    * soft nproc 2048

                    * hard nproc 4096

                2、vi /etc/security/limits.d/90-nproc.conf 修改如下配置

                    * soft nproc 2048

                3、vi /etc/sysctl.conf 添加配置

                    vm.max_map_count=655360

                    运行命令 sysctl -p

        ⑤、system call filters failed to install;

                错误原因:Centos 不支持SecComp,而高版本ES默认bootstrap.system_call_filter为true进行检测,所以导致检测失败,失败后直接导致ES不能启动

                解决办法: 在elasticsearch.yml中配置bootstrap.system_call_filter为false,注意要在Memory下面:

                    bootstrap.memory_lock: false

                    bootstrap.system_call_filter: false

     注意:修改完这些配置之后,记得退出elk用户在重新切换到elk用户,再次启动。

    6、浏览器访问:http://192.168.220.128:9200检查是否启动成功。

            

至此 ElasticSearch安装完成。

推荐一款插件可替代原来的head插件。https://gitee.com/farmerx/ElasticHD

Logstash(6.4.2)搭建

    1、获取官方的Logstash安装包

        wget https://artifacts.elastic.co/downloads/logstash/logstash-6.4.2.tar.gz

    2、解压Logstash6.4.2的安装包

        tar -zxf logstash-6.4.2.tar.gz

    3、进入解压目录,修改logstash的配置文件,logstash.yml,只需要修改如下截图中的内容,其他走默认。

        

    4、和bin目录同级,创建 conf.d 文件夹,用于存放要解析的日志及其他文件的配置文件。

        

    5、在conf.d 下新建 tomcat8.conf,用于配置tomcat8的日志文件的解析:

        

    6、安装filebeat插件,用于日志文件的解析,将日志文件解析输出到logstash。

        ①、获取filebeat插件,记得一定要和logstash的版本号相对应,不然会出现意想不到的结果。

            获取地址:wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.4.2-linux-x86_64.tar.gz

        ②、解压filebeat,tar -zxf filebeat-6.4.2-linux-x86_64.tar.gz

        ③、修改filebeat的配置文件,让其解析某个目录下的所有日志文件到logstash中,如下

            

            一定要把ElasticSearch的配置注释掉,让日志流转到logstash处理,再从logstash转发到ElasticSearch。

            

        ④、启动filebeat,执行命令:./filebeat -e -c filebeat.yml -d public

            

            注意:因为我之前启动了一个tomcat实例,所以会看到日志的解析 启动之后会有如下的warning,不要担心,那是因为我们没有启动logstash:

            

    7、启动logstash,启动之前执行命令./bin/logstash -f conf.d/* -t,检测配置文件是否ok,如下:

        

        注意:conf.d/* 表示这个目录下所有的配置文件都检测。

    8、执行命令./bin/logstash -f conf.d/* --config.reload.automatic,启动logstash:。

        启动命令说明:

             -f conf.d/* 执行配置文件位置

            --config.reload.automatic 修改后是否自动重载配置文件

            

    9、启动成功之后,浏览器访问:http://192.168.220.129:9600

        

至此logstash,搭建完成。

Kibana(6.4.2)搭建

    1、获取官方的Kibana安装包

        wget https://artifacts.elastic.co/downloads/kibana/kibana-6.4.2-linux-x86_64.tar.gz

    2、解压Kibana6.4.2的安装包

        tar -zxf kibana-6.4.2-linux-x86_64

    3、修改logstash.yml的配置文件,并启动logstash

        

    4、执行 ./kibana ,启动kibana,然后浏览器访问:http://192.168.220.129:5601

        

至此 kibana安装完成。

ELK全部搭建完成,但是需要将ELK串起来方可起作用,按照上述步骤,串起来之后,访问kibana如下:

 

转载于:https://my.oschina.net/hunteros/blog/2960721

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值