珊瑚海的博客

大家在用Logstash收集日志时，发现@timestamp的时间比本地早8个小时，这是正常的，因为这个时间是UTC时间，日志应统一采用这个时间。 原则上建议大家不要修改这个时间戳： 时区问题的解释 很多中国用户经常提一个问题：为什么 @timestamp 比我们早了 8 个小时？怎么修改成北京时间？+ 其实，Elasticsearch 内部，对时间类型字段，是统一采用 UTC 时间

下载logstash tar –xf  logstash mv logstash /opt/ ln -s /opt/logstash-1.4.2 /usr/local/logstash 测试logstash bin/logstash-e 'input { stdin { } }output { stdout {} }' 配置logstash 创建配置文件目录： mkdir-p /

有时候我们需要对一些服务器日志进行分析，并对其中错误的日志进行报警，在这里我们采用logstash来收集这些日志，和采用自己开发的邮件发送系统来发送错误日志数据。      例如我们有几个文件需要监控（BI日志） 我们可以通过配置logstash来收集这些文件日志 input{      file{         path=> "/diskb/bidir/smartbi

检测logstash的conf脚本 check_logstash_serve.sh #!bin/bash # check logstash running ? if not,start it # example: sh check_logstash_serve.sh flumelck /opt/modules/logstash/exec_sh/lck/lck_start.sh #传入脚本名

有的时候我们想把mysql或oracle中的数据导入到es中，有很多种方式，这里介绍一种很简单的方式，利用Logstash的jdbc-input插件可以实现。 官方文档链接查看：https://www.elastic.co/guide/en/logstash/2.1/plugins-inputs-jdbc.html   譬如我们想把mysql中某一张表导入到ES中，Logstash的conf

kafka里面的数据都是自定义拼接的字符串需要在logstash中filter做分割； 如果是json格式，则会被自动解析，无需分割。 下面样例： input{ kafka { zk_connect => "bdc41.hexun.com:2181,bdc40.hexun.com:2181,bdc46.hexun.com:2181,bdc54.hexun.com:

我们在用Logstash收集日志的时候会碰到日志会错行，这个时候我们需要把错的行归并到上一行，使某条数据完整；也防止因为错行导致其他字段的不正确。 在Logstash-filter插件中，multiline插件可以解决这个问题，举个例子如下： 假如我们的日志形式如下： 2016-04-05 13:39:52.534 1.28.253.193 20160311090433074f5b47c04