大数据最新ELFK 分布式日志收集系统，还有人不知道什么是大数据开发X的吗

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

			+ 修改配置文件：
				- 修改项：
					* ```
					server.port: 5601
					server.host: "192.168.8.8"
					server.name: "db01" 	#自己所在主机的主机名
					elasticsearch.hosts: ["http://192.168.8.8:9200"]   #es服务器的ip，便于接收日志数据
					保存退出
					```
			+ 启动kibana：systemctl start kibana
			+ 查看两个服务的端口是否存在：
				- netstat -anpt | grep 5601
				- netstat -anpt | grep 9200
	- 部署8.9服务器山的nginx和filebeat：
		* 安装filebeat：
			+ rpm -ivh filebeat-6.6.0-x86\_64.rpm
		* 修改配置文件：
			+ vim /etc/filebeat/filebeat.yml （清空源内容，直接覆盖）
				- ```
				filebeat.inputs:		（日志来源）
				- type: log			（日志格式）
				  enabled: true		（开机自启）
				  paths:			（日志路径）
				    - /var/log/nginx/access.log
				
				output.elasticsearch:		（日志传送到那）
				  hosts: ["192.168.8.8:9200"]
				
				```
			+ 启动filebeat服务：
			
			
				- systemctl start filebeat
		* 安装nginx：
		
		
			+ yum -y install nginx
			+ 启动nginx：nginx
	- 在8.8服务器上安装网站压力测试工具：
	
	
		* yum -y install  httpd-tools
	- 2.使用ab压力测试工具测试访问
	
	
		* ab -c 1000 -n 20000 http://192.168.8.9/  
		 -c（并发数） -n（请求数）
+ 使用浏览器扩展程序登录es查看索引是否有访问数：


	- ![](https://img-blog.csdnimg.cn/direct/37c6bc5c1b62435e9ef8c6ba4e5fe6d8.png)
+ 修改nginx的日志格式为json格式：


	- vim /etc/nginx/nginx.conf
	
	
		* 添加在http{}内：
		* ```
		log_format log_json '{ "@timestamp": "$time_local", '
		'"remote_addr": "$remote_addr", '
		'"referer": "$http_referer", '
		'"request": "$request", '
		'"status": $status, '
		'"bytes": $body_bytes_sent, '
		'"agent": "$http_user_agent", '
		'"x_forwarded": "$http_x_forwarded_for", '
		'"up_addr": "$upstream_addr",'
		'"up_host": "$upstream_http_host",'
		'"up_resp_time": "$upstream_response_time",'
		'"request_time": "$request_time"'
		' }';
		    access_log  /var/log/nginx/access.log  log_json;
		```
	- 重启服务：systemctl restart nginx
+ 修改filebeat.yml文件，区分nginx的访问日志和错误日志


	- vim /etc/filebeat/filebeat.yml
	
	
		* ```
		修改为：
		filebeat.inputs:
		- type: log
		  enabled: true
		  paths:
		    - /var/log/nginx/access.log
		  json.keys_under_root: true
		  json.overwrite_keys: true
		  tags: ["access"]
		  
		- type: log
		  enabled: true
		  paths:
		    - /var/log/nginx/error.log
		  tags: ["error"]
		
		output.elasticsearch:
		  hosts: ["192.168.8.8:9200"]
		  indices:
		    - index: "nginx-access-%{+yyyy.MM.dd}"
		      when.contains:
		        tags: "access"
		    - index: "nginx-error-%{+yyyy.MM.dd}"
		      when.contains:
		        tags: "error"
		
		setup.template.name: "nginx"
		setup.template.patten: "nginx-*"
		setup.template.enabled: false
		setup.template.overwrite: true
		```
	- 重启服务：systemctl restart filebeat
+ 使用ab工具压力测试一下网站：


	- 测试访问数据：ab -c 1000 -n 20000 http://192.168.8.9/
	- 测试错误数据：ab -c 1000 -n 20000 http://192.168.8.9/444.html
	- 可以看到es收集到了两个索引：
	
	
		* ![](https://img-blog.csdnimg.cn/direct/857118eb692e4a78a49e3368e2e8847f.png)
+ 使用kibana图形化展示日志访问数据：


	- [http://192.168.8.8:5601/]( )
	- 创建索引，图形化展示：
	
	
		* ![](https://img-blog.csdnimg.cn/direct/3ada765329994c98b78a92ff4ee3fafb.png)![](https://img-blog.csdnimg.cn/direct/2a5ba7f4c9dd4cd488ea0aed47b03f30.png)![](https://img-blog.csdnimg.cn/direct/e4a62901eefb4c5a8a41e0c53b53d080.png)![](https://img-blog.csdnimg.cn/direct/06ec598618604dca953d567e34a3cf2b.png)![](https://img-blog.csdnimg.cn/direct/781099878568410aacf671fb888e4138.png)
	- 按照此步骤 将error错误索引页创建一下即可
+ 虽然以上环境也可以进行日志收集，但只适用于中小型公司，以下再多增加一台服务器，安装redis实现消息队列，和logstash日志采集，增加吞吐量。
+ 在8.10服务器上部署redis和logstash：


	- 准备安装目录和数据目录：
	
	
		* ```
		mkdir -p /data/soft
		mkdir -p /opt/redis_cluster/redis_6379/{conf,logs,pid}
		
		```
	- 下载redis安装包：
	
	
		* ```
		cd /data/soft
		wget http://download.redis.io/releases/redis-5.0.7.tar.gz
		
		```
	- 将软件包解压到/opt/redis\_cluster文件夹中：
	
	
		* ```
		tar xf redis-5.0.7.tar.gz -C /opt/redis_cluster/
		ln -s /opt/redis_cluster/redis-5.0.7  /opt/redis_cluster/redis
		```
	- 切换目录编译安装redis：
	
	
		* ```
		cd /opt/redis_cluster/redis
		make && make install 
		```
	- 编写redis配置文件：
	
	
		* vim /opt/redis\_cluster/redis\_6379/conf/6379.conf
		
		
			+ ```
			bind 127.0.0.1 192.168.8.10
			port 6379
			daemonize yes
			pidfile /opt/redis_cluster/redis_6379/pid/redis_6379.pid
			logfile /opt/redis_cluster/redis_6379/logs/redis_6379.log
			databases 16
			dbfilename redis.rdb
			dir /opt/redis_cluster/redis_6379
			```
		* 启动redis服务：redis-server /opt/redis\_cluster/redis\_6379/conf/6379.conf
	- 修改8.9的filebeat文件（将filebeat收集的日志转发给redis）：
	
	
		* vim /etc/filebeat/filebeat.yml

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！