my_bai的博客

[html] view plain copy   filter {       grok {           match => [                "message" , "\s*%{IPORHOST:clientip}\s+\-\s+\-\s+ \s+\"%{WORD:verb}\s+(?api>(\S+))\?.*\s+HTTP/%

一、下载GeoIP数据库 # cd /etc/logstash/ # wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz # gzip -d GeoLiteCity.dat.gz  　　Linux系统MaxMind提供了GeoIP更新程序，可以自动更新数据库。CentOS可以通过epe

之前对于CDN的日志处理模型是从  logstash agent==>>redis==>>logstash index==>>elasticsearch==>>kibana3，对于elasticsearch集群搭建，可以把索引进行分片存储，一个索引可以分成若干个片，分别存储到集群里面，而对于集群里面的负载均衡，副本分配，索引动态均衡（根据节点的增加或者减少）都是elasticsearch自己内部

下载 elastic.co key文件 rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch 添加yum源，如elastic.repi [logstash-5.x] name=Elastic repository for 5.x packages baseurl=https://artifacts.elas

下载sendEmail wget http://caspian.dotconf.net/menu/Software/SendEmail/sendEmail-v1.56.tar.gz tar -zxvf  sendEmail-v1.56.tar.gz mv sendEmail-v1.56/sendEmail  /usr/local/bin/ 下载logstash-output