我的博客

开发环境elk搭建请尊重知识产权，博客原文地址 http://blog.youkuaiyun.com/qq1032355091/article/details/79559003elasticsearch-5.6.4安装解压安装包到/data目录修改权限sudo chown elk:elk -R /data/elasticsearch-5.6.4创建文件夹sudo mkdir -pv /data/es/dat...

logstash 采集 kafka 写入es 流程规范请尊重知识产权，博客原文地址 http://blog.youkuaiyun.com/qq1032355091/article/details/79558649本文主要介绍es的template和mapping配置，通过logstash的采集流程规范，更加容易深入理解到底什么是template和mapping配置背景知识什么是mapping？mappi...

filter { if [type] == "appstart" { json { source => "message" remove_field => ["message"] } date { match => ["createTime", "yyyy-MM-dd HH:mm:ss"] timezone => "+00:00" } if [cus

elasticsearch 安装x-pack集群的每台机器都要安装elasticsearch-plugin install x-pack安装完重启elasticsearch，不重启es更新license会报错kibana 安装x-packkibana-plugin install x-pack安装完重启kibanalogstash 安装 x-packlo

elasticsearch 5.6.4  long 类型的字段不支持 -1 logstash 写入es 的时候，如果long类型的字段写入 -1 值 ，会报错这个值太短template 名和索引名不支持大写字母

如图，如果想在monitoring 页面显示到 logstash 的监控。需要在logstash.yml 里配置 ：xpack.monitoring.elasticsearch.url: "http://10.40.23.79:9200"#xpack.monitoring.elasticsearch.username: "logstash_system" #xpack.monitori

input { jdbc { jdbc_connection_string => "jdbc:mysql://19.129.325.177:4040/ttt" jdbc_user => "jwww" jdbc_password => "******" jdbc_driver_library => "/home/hadoop/packages/mysql-connector-jav

过滤事件filter{ ruby { code => "event.cancel if event['message'] =~ /^info/ " #正则匹配message字段以info开头，那么去除这个事件，不继续往下走 }}

logstash 的使用logstash支持把配置写入文件 xxx.conf，然后通过读取配置文件来采集数据./bin/logstash –f xxx.conf logstash最终会把数据封装成json类型，默认会添加@timestamp时间字段、host主机字段、type字段。原消息数据会整个封装进message字段。如果数据处理过程中，用户解析添加了多个字段，则最终结果又会多

Logstash实时采集log4j日志配置Java应用端log4j配置properties文件配置方式#请使用该socket log4j.appender.socket=org.apache.log4j.net.SocketAppender#logstash服务主机端口号log4j.appender.socket.Port=4567#logstash服务主机log4j.app

logstash使用jdbc-output写入数据到mysql时，浮点数的小数点后几位会不精确。解决方案如下：mysql字段设置类型为double，不要设置精度logstash插入的时候，把数据类型转换成string类型插入filter { if [type] == "appstart" { json { source => "mes...