【ELK】基于elk实现nginx日志收集与展示

程序版本说明

因为程序版本之间相互有制约，所以我去官网扣了最新的四个，但是这个下载速度真的是超慢，如果有下载不下来的可以私信我拿baiduyun的地址

软件	版本	下载地址
filebeat	7.6.1	filebeat-7.6.1-linux-x86_64.tar.gz下载
elasticsearch	7.6.1	elasticsearch-7.6.1-linux-x86_64.tar.gz下载
logstash	7.6.1	logstash-7.6.1.tar.gz下载
kibana	7.6.1	kibana-7.6.1-linux-x86_64.tar.gz下载
zookeeper	3.4.14	zookeeper下载地址
kafka	2.4.0	kafka下载地址

架构图说明

考虑到 Logstash 占用系统资源较多，我们采用 Filebeat 来作为日志采集器。这里采用kafka作为传输方式是为了避免堵塞和丢失，以实现日志的实时更新。
正式环境大概可以以这个架构图实现，本文都是单机部署

nginx日志格式修改

1. Nginx支持自定义输出日志格式，在设置Nginx日志格式前，需要了解一下nginx内置的日志变量。

   log_format  main escape=json '{"accessip_list":"$proxy_add_x_forwarded_for",'  
                                     '"remote_addr":"$remote_addr",'
                                     '"http_host":"$http_host",'
                                     '"@timestamp":"$time_iso8601",'
                                     '"referer":"$http_referer",'
                                     '"scheme":"$scheme",'
                                     '"request":"$request",'
   								  '"request_header":"$request_header",'
                                     '"request_method":"$request_method",'
                                     '"request_time":"$request_time",'
                                     '"request_body":"$request_body",'
                                     '"server_protocol":"$server_protocol",'
                                     '"uri":"$uri",'
                                     '"http_host":"$host",'
                                     '"domain":"$server_name",'
                                     '"hostname":"$hostname",'
                                     '"status":$status,'