ELK
zhiliang-chen
大数据工程师
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
logstash 插件使用介绍
logstash 插件使用介绍 logstash 的配置有input,filter,output三个区; 其中input负责从外部读取数据,转换为logstash事件; logstash事件,json格式的数据结构,json的key即为"字段"; filter区,对input后的事件进行数据处理,匹配"字段"处理数据; output区,将事件输入到目标设备; 实例 input { std...原创 2019-10-23 09:35:50 · 367 阅读 · 0 评论 -
logstash 读取mysql,写入hdfs
环境 centos 6.5 JDK 8 Logstash 6.8 logstash安装,参见Logstash RPM安装 mysql-connector安装 $ cd /var/tmp $ wget https://mirrors.tuna.tsinghua.edu.cn/mysql/downloads/Connector-J/mysql-connector-java-5.1.48.zip $...原创 2019-10-22 18:10:33 · 934 阅读 · 0 评论 -
kibana RPM 安装
环境 centos 7.2 JKD 11 elasticsearch 7.4.0 国内镜像 https://mirrors.tuna.tsinghua.edu.cn/elasticstack/ 安装 $ cd /var/tmp //# 下载 wget https://mirrors.tuna.tsinghua.edu.cn/elasticstack/7.x/yum/7.4.0/kibana...原创 2019-10-17 17:37:07 · 1600 阅读 · 0 评论 -
Elasticsearch RPM安装
环境 centos 7.2 JKD 11 elasticsearch 7.4.0 国内镜像 https://mirrors.tuna.tsinghua.edu.cn/elasticstack/ 安装 $ cd /var/tmp /# 下载 $ wget https://mirrors.tuna.tsinghua.edu.cn/elasticstack/7.x/yum/7.4.0/elasti...原创 2019-10-17 17:36:02 · 1212 阅读 · 0 评论 -
logstash tcp input插件
logstash tcp input插件 环境 centos 7.2 JDK 11 logstash 7.4 logstash安装,参见 Logstash RPM安装 从TCP端口读取事件; 可以从客户端或服务端读取; 参数 默认值 说明 port 必填 监听的端口或连接的端口 host “0.0.0.0” 监听的地址或要连接的地址 mode “server”/“cl...原创 2019-10-17 17:26:42 · 2972 阅读 · 0 评论 -
logstash 读取nginx Access日志
logstash 读取nginx Access日志 nginx Access日志默认格式,参见 nginx Access日志格式 grok内置的正则,参见 grok httpd正则 nginx默认日志格式的示例 192.168.1.186 - - [06/Aug/2018:09:57:51 +0800] "GET /Public/Css/plugins/morris/morris-0.4.3.mi...原创 2019-10-17 17:18:12 · 833 阅读 · 0 评论 -
grok 正则
环境 centos 7.2 JDK 11 logstash 7.4 rpm logstash rpm安装,参见Logstash RPM安装 语法 grok的正则,是在通用的正则基础上,加了正则表达的名称(变量名),这样就可以在其他的正则里调用了; 通用的正则,参见正则表达式 grok调用正则的语法为 %{PATTERN_NAME} %{PATTERN_NAME:OUTPUT_FIELD_NAM...原创 2019-10-17 16:03:11 · 1440 阅读 · 0 评论 -
Logstash RPM安装
环境 centos 7.2 JKD 11 Logstash 7.4 国内镜像 https://mirrors.tuna.tsinghua.edu.cn/elasticstack/ 安装 $ cd /var/tmp //# 下载 wget https://mirrors.tuna.tsinghua.edu.cn/elasticstack/7.x/yum/7.4.0/logstash-7.4....原创 2019-10-17 15:48:53 · 1686 阅读 · 0 评论
分享