
ELK
文章平均质量分 86
麦冬1897
认真做技术
展开
-
filebeat + ELK 做日志分析 配置 logstash 做正则匹配处理message 时间的读取 时区处理 反斜杠 ip 处理
利用 Filebeat去读取日志发送到 Logstash ,再由 Logstash 处理后发送给 Elasticsearch 。一、Filebeat项目日志文件:利用 Filebeat 去读取文件,paths 下面配置路径地址,Filebeat 会自动去读取 /data/share/business_log/TA-*/debug.log 文件#===================...原创 2018-09-20 11:41:41 · 2068 阅读 · 0 评论 -
Filebeat 原理详解/配置文件分析
配置文件位置对于rpm和deb,您将在以下位置找到配置文件/etc/filebeat/filebeat.yml。在Docker下,它位于/usr/share/filebeat/filebeat.yml。对于mac和win以及zip文档,请查看刚刚提取的存档。相同路径下还有一个名为的完整示例配置文件filebeat.reference.yml,显示了所有未弃用的配置选项。读取日志配置...原创 2018-10-05 15:27:54 · 6788 阅读 · 0 评论 -
Logstash 原理分析/配置文件详解 时间 日期 时区 ip 反斜杠 grok在线地址 类型转换
基本配置Logstash 本身不能建立集群,Filebeat 连接 Logstash 后会自动轮询 Logstash 服务器是否可用,把数据发送到可用的 Logstash 服务器上面去Logstash 配置,监听5044端口,接收 Filebeat 发送过来的日志,然后利用 grok 对日志过滤,根据不同的日志设置不同的 type,并将日志存储到 Elasticsearch 集群上面项目...原创 2018-10-05 16:18:35 · 6520 阅读 · 0 评论 -
Elasticsearch 集群配置/分词问题/root 用户问题
1. Elasticsearch 配置问题elasticsearch的config文件夹里面有两个配置文件:elasticsearch.yml和logging.yml,第一个是es的基本配置文件,第二个是日志配置文件,es也是使用log4j来记录日志的,所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面主要讲解下elasticsearch.yml这个文件中可配置的东西。...原创 2018-10-05 17:14:16 · 633 阅读 · 0 评论 -
Kibana 分析查看 Elasticsearch 记录
Kibana原创 2018-10-05 17:24:28 · 10677 阅读 · 0 评论 -
Logstash 在线验证地址
国内:http://grok.qiexun.net/国外:http://grokdebug.herokuapp.com/详细资料:https://www.cnblogs.com/iiiiher/p/7919149.htmlgrok 语法:https://github.com/kkos/oniguruma/blob/master/doc/RE...原创 2018-10-23 11:22:39 · 2242 阅读 · 1 评论 -
logstash 自定义生成 geoip/自定义的经纬度转换为 geo_point 类型
geo_point 的几种类型首先将经纬度的值赋给新的变量 geoip.location,然后将其转化为float类型,要注意的是【经度,纬度】,数组格式经度在前。mutate { add_field => ["[geoip][latitude]", "%{[lat]}"] add_field => ["[geoip][longitude]", "%...原创 2018-11-03 13:44:20 · 3733 阅读 · 0 评论