
ELK
长沙大东家
这个作者很懒,什么都没留下…
展开
-
logstash tcp multihost output(多目标主机输出,保证TCP输出链路的稳定性)
在清洗日志时,有一个应用场景,就是TCP输出时,需要在一个主机挂了的情况下,自已切换到下一个可用入口,而原tcp output仅支持单个目标主机设定。故本人在原tcp的基础上,开发出tcp_multihost输出插件,来满足此场景。 插件在一开始的时候会随机选择一个链路,而在链路出错连续超过3(默认)次后会尝试数组中下一个主机 github: http://github.com/xiaohel原创 2014-10-27 17:37:52 · 3960 阅读 · 0 评论 -
ElasticSearch Group by Multi Field,多字段聚合
This is something that can already be done using scripts. For example, if you have two fields f and g, you can run a terms aggregation on the union of the values of these fields by running the followi转载 2014-11-26 12:03:40 · 16207 阅读 · 0 评论 -
Elasticsearch全文搜索的解决方案,走了不少弯路
在对Elasticsearch进行全文搜索时,走了不少弯路。其实最终发现就一点点设置要的问题。 1.注意在mapping里面将_all enabled 示例: { "template": "dbagent_*", "settings": { "index.number_of_shards": 5, "number_of_replicas": 1原创 2014-11-26 15:18:39 · 2892 阅读 · 0 评论 -
run as service Elasticsearch Not Working
解决Elasticsearch service elasticsearch start 失败的问题 Hi, Here is the way to solve it: You have to set the variables in /etc/elasticsearch/elasticsearch.yml: path.data: path/to/data p转载 2015-02-04 18:22:43 · 1633 阅读 · 0 评论 -
logstash在windows上fileinput会锁定文件的问题
原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://enable.blog.51cto.com/747951/1548326 logstash 在windows中收集日志的时候,会导致写日志的程序不能进行日志的切割(windows提示,文件被占用) 从github上下载useJavatoOpenFile转载 2015-02-15 11:18:56 · 1328 阅读 · 0 评论 -
解决logstash1.4.2在windows上文件源读会对文件进行锁定的问题
解决logstash1.4.2在windows上文件源读会对文件进行锁定的问题 从github上下载useJavatoOpenFile https://github.com/edwinf/ruby-filewatch/tree/useJavatoOpenFile wget https://github.com/jordansissel/ruby-filewatch/archive/mas原创 2015-02-15 14:53:46 · 1273 阅读 · 0 评论 -
kafka插件在logstash上的安装
安装按照官方文档完全自动化的安装.或是可以通过以下方式手动自己安装插件,不过重点注意的是 kafka 的版本,上面已经指出了。 下载 logstash 并解压重命名为 ./logstash-1.4.0 文件目录。 下载 kafka 相关组件,以下示例选的为 kafka_2.8.0-0.8.1.1-src,并解压重命名为 ./kafka_2.8.0-0.8.1.1。 下载转载 2015-03-05 19:53:46 · 3318 阅读 · 0 评论 -
Avoiding GREEDYDATA for logstash'grok
In working on performance optimization, there seems to be a constant theme to avoid using GREEDYDATA in grok matches. That's all very well and good, but I don't see how that's possible in standards原创 2015-03-05 22:51:07 · 3280 阅读 · 0 评论