elk

最新推荐文章于 2024-09-21 22:08:31 发布

原创最新推荐文章于 2024-09-21 22:08:31 发布 · 168 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#nginx #elasticsearch

运维专栏收录该内容

14 篇文章

订阅专栏

本文详细介绍Logstash的配置方法，包括如何设置input模块读取Nginx日志，使用grok进行日志解析，以及如何配置output模块将解析后的数据发送到Elasticsearch。通过具体示例，展示了Logstash在日志收集和处理流程中的应用。

• input {
• file {
• path => “/var/log/nginx/access.log”
• type => “nginx-log”
• start_position => “beginning”
• }
• }
•
• filter {
• grok {
• match => { “message” => “%{NGINXACCESS}” }
• }
•
• }
•
• output {
• elasticsearch {
• hosts => [“192.168.0.106:9200”]
• index => “nginx_log-%{+YYYY.MM.dd}”
• }
•
• }
[root@192 conf.d]# cd /usr/share/logstash/vendor/bundle/jruby/2.3.0/gems/logstash-patterns-core-4.1.2/patterns
[root@192 patterns]# ls
aws exim httpd maven nagios redis
bacula firewalls java mcollective nginx_access ruby
bind grok-patterns junos mcollective-patterns postgresql squid
bro haproxy linux-syslog mongodb rails
[root@192 patterns]# cat nginx_access
URIPARAM1 [A-Za-z0-9$.+!’|(){},~@#%&/=:;_?-[]]
NGINXACCESS %{IPORHOST:client_ip} (%{USER:ident}|- ) (%{USER:auth}|-) [%{HTTPDATE:timestamp}] “(?:%{WORD:verb} (%{NOTSPACE:request}|-)(?: HTTP/%{NUMBER:http_version})?|-)” %{NUMBER:status} (?:%{NUMBER:bytes}|-) “(?:%{URI:referrer}|-)” “%{GREEDYDATA:agent}”