ubuntu搭建日志分析工具ELK收集Nginx日志

ELK部署环境准备

1.机器准备

两台服务器： 
ubuntu-elk-node1:Ubuntu 16.04.3/192.168.15.68

ubuntu-nginx-node2:Ubuntu 16.04.3/192.168.15.244

2.elk准备环境

-rwxrwxrwx 1 root root 27542289 Dec 26 12:48 elasticsearch-2.3.3.tar.gz*
-rwxrwxrwx 1 root root 33045518 Dec 26 12:52 kibana-4.5.1-linux-x64.tar.gz*
-rwxrwxrwx 1 root root 78887475 Dec 26 13:18 logstash-2.3.3.tar.gz*
-rw-r--r-- 1 root root 189784266 Dec 25 16:47 jdk-8u152-linux-x64.tar.gz

3.安装Java（两服务器都需要安装）

解压到 /usr/java/jdk1.8.0_152

vim /etc/profie 在尾部添加以下内容

#JDK 1.8
export JAVA_HOME=/usr/java/jdk1.8.0_152
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
#export PATH=${JAVA_HOME}/bin:$PATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

立即生效配置

source /etc/profile

查看java版本

java -version

 

ubuntu-elk-node1:Ubuntu 16.04.3/192.168.15.68上安装

4.1.elasticsearch安装

解压elasticsearch

tar xvf elasticsearch-2.3.3.tar.gz -C /usr/local/elk/

创建elasticsearch用户

adduser elasticsearch

elasticsearch目录权限修改

chown -R elasticsearch.elasticsearch /usr/local/elk/elasticsearch-2.3.3/

elasticsearch配置文件elasticsearch.yml

cluster.name: chuck-cluster #判别节点是否是统一集群
node.name: ubuntu-elk-node1 #节点的hostname
path.data: /data/es-data #数据存放路径
path.logs: /var/log/elasticsearch/ #日志路径
bootstrap.mlockall: true #锁住内存，使内存不会再swap中使用
network.host: 0.0.0.0 #允许访问的ip
http.port: 9200 #端口

创建日志数据目录，并授权

mkdir -p /data/es-data
mkdir -p /var/log/elasticsearch/ 
chown -R elasticsearch.elasticsearch /data/es-data
chown -R elasticsearch.elasticsearch /var/log/elasticsearch/

启动elasticsearch 后台运行加上&

su elasticsearch -l -c "/usr/local/elk/elasticsearch-2.3.3/bin/elasticsearch -d"
netstat -lntup|grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      1759/java 

访问9200端口，会把信息显示出来

安装head插件显示索引和分片情况

/usr/local/elk/elasticsearch-2.3.3/bin/plugin install mobz/elasticsearch-head

访问页面http://192.168.15.68:9200/_plugin/head/

4.2.kibana安装

解压kibana

tar xvf kibana-4.5.1-linux-x64.tar.gz -C /usr/local/elk/

修改kibana.yml

server.port: 5601 kibana端口
server.host: "0.0.0.0"  对外服务的主机
elasticsearch.url:       "http://192.168.15.68:9200"
kibana.index: ".kibana  在elasticsearch中添加.kibana索引

启动kibana 后台运行加上&

/usr/local/elk/kibana-4.5.1-linux-x64/bin/kibana &
netstat -lntup|grep 5601
tcp        0      0 0.0.0.0:5601            0.0.0.0:*               LISTEN      1815/node

 

ubuntu-nginx-node1:Ubuntu 16.04.3/192.168.15.244上安装

5.1.logstash安装

解压logstash

tar xvf logstash-2.3.3.tar.gz -C /usr/local/elk/

Nginx配置修改使用json

log_format json '{ "@timestamp": "$time_iso8601", '#ISO8601标准格式下的本地时间
                   '"@fields": { '
                   '"remote_addr": "$remote_addr", '#记录客户端IP地址
                   '"remote_user": "$remote_user", '#记录客户端用户名称
                   '"time_local": "$time_local", '#通用日志格式下的本地时间
                   '"request": "$request", '#记录请求的URL和HTTP协议
                   '"status": "$status", '#记录请求状态
                   '"body_bytes_sent": "$body_bytes_sent", '#发送给客户端的字节数，不包括响应头的大小； 该变量与Apache模块mod_log_config里的“%B”参数兼容
                   '"http_referer": "$http_referer", '#记录从哪个页面链接访问过来的
                   '"http_user_agent": "$http_user_agent", '#记录客户端浏览器相关信息
                   '"http_x_forwarded_for": "$http_x_forwarded_for", '#记录客户端IP地址
                   '"upstream_cache_status": "$upstream_cache_status", '#
                   '"request_time": "$request_time", '#请求处理时间，单位为秒，精度毫秒； 从读入客户端的第一个字节开始，直到把最后一个字符发送给客户端后进行日志写入为止
                   '"upstream_response_time": "$upstream_response_time" } }';
access_log  /usr/local/n/logs/www.test.com-access.log json;

logstash获取nginx日志推送到192.168.15.68elasticsearch

创建存放配置文件目录

mkdir /usr/local/elk/logstash-2.3.3/conf

创建nginx-www.test.com.conf配置文件

input{
    file {
        path => "/usr/local/n/logs/www.test.com-access.log"
        codec => json
        type => "nginx-www.test.com"
        start_position => "beginning"
        }

}

output{
     if [type] == "nginx-www.test.com" {
             elasticsearch{
                hosts => ["192.168.15.68:9200"]
                index => "nginx-www.test.com-%{+YYYY.MM.dd}"
        }
     }
  
}

启动logstash

/usr/local/elk/logstash-2.3.3/bin/logstash -f /usr/local/elk/logstash-2.3.3/conf/nginx-www.test.com.conf