日志平台
关注
分享
扫一扫
文章平均质量分 83
ronon77
这个作者很懒，什么都没留下…
展开
-
[Logstash-input-redis] 使用详解
redis插件的完整配置input { redis { batch_count => 1 #返回的事件数量，此属性仅在list模式下起作用。 data_type => "list" #logstash redis插件工作方式 key => "logstash-test-list" #监...原创 2016-04-06 05:55:52 · 387 阅读 · 0 评论 -
Elasticsearch结合Nginx使用
Elasticsearch是一种先进的，高性能的，可扩展的开源搜索引擎，提供全文搜索和实时分析的结构化和非结构化数据。 它的特点是可以使用RESTful API over HTTP，因此很容易融入现代网络架构。 由于NGINX具有出色的性能非常高并发率,再加上负载平衡的HTTP流量功能，这是非常适合用作为您扩展到多个Elasticsearch服务器的反向代理负载均衡。 部署NGINX...原创 2016-02-22 08:43:16 · 203 阅读 · 0 评论 -
怎样做实时日志二套方案
实时日志1.需求/问题需求 随着业务增长，服务器增多，最开始是登陆服务器查看日志，这对于几台服务器的需求，还是勉强能应付过去的。但有两个不好的方面，一是零散，不够集中高效查看日志，寻找根源；二是不安全，要对开发，测试等同学开帐号权限。因此日志系统就应运而生了，集中高效web方式搜索查看日志。问题 a.采集延时15s。这是由于logstash默认机制造成...2016-02-20 13:09:31 · 147 阅读 · 0 评论 -
分布式搜索elasticsearch配置文件详解
配置文件位于%ES_HOME%/config/elasticsearch.yml文件中，用Editplus打开它，你便可以进行配置。 所有的配置都可以使用环境变量，例如：node.rack: ${RACK_ENV_VAR} 表示环境变量中有一个RACK_ENV_VAR变量。 下面列举一下elasticsearch的可配置项： 1. 集群名称...原创 2016-02-18 09:51:31 · 87 阅读 · 0 评论 -
控制Elasticsearch分片和副本的分配
ES集群中索引可能由多个分片构成，并且每个分片可以拥有多个副本。通过将一个单独的索引分为多个分片，我们可以处理不能在一个单一的服务器上面运行的大型索引，简单的说就是索引的大小过大，导致效率问题。不能运行的原因可能是内存也可能是存储。由于每个分片可以有多个副本，通过将副本分配到多个服务器，可以提高查询的负载能力。 为了进行分片和副本的操作，ES需要确定将这些分片和副本放到集群节点的哪个位置...原创 2016-02-16 16:14:07 · 239 阅读 · 0 评论 -
ElasticSearch入门- 设置分片副本数量及putMapping
在之前的 一篇文章 中，写到如何创建mapping。里面只是简单的创建了一个mapping。其实，这种比较重要并且一旦建立无法修改的操作还是需要仔细规划的。今天我介绍设置index的分片数量及副本数量，即创建索引的如何指定分片的个数及副本的个数。分片的个数在创建之后是 无法再增加和减少 的，除非你另外建一个索引库，而 副本是可以在运行的时候，动态增加和减少 。因此，在创建索引库时，规划好分片...原创 2016-02-16 16:06:55 · 1445 阅读 · 0 评论 -
使用logstash+elasticsearch+kibana快速搭建日志平台
https://www.loggly.com/日志的分析和监控在系统开发中占非常重要的地位，系统越复杂，日志的分析和监控就越重要，常见的需求有:根据关键字查询日志详情监控系统的运行状况统计分析，比如接口的调用次数、执行时间、成功率等异常数据自动触发消息通知基于日志的数据挖掘很多团队在日志方面可能遇到的一些问题有:开发人员不能登录线上服务器查看详细日志，经过运...原创 2016-02-16 14:08:23 · 123 阅读 · 0 评论 -
Elasticsearch for Hadoop
太强了 Seamlessly Move Data between Elasticsearch and HadoopWith a native integration and a rich query API, ES-Hadoop lets you index data directly into Elasticsearch from Hadoop, query ...原创 2016-01-21 18:05:53 · 178 阅读 · 0 评论 -
ElasticSearch 数据导入导出工具
''' Export and Import ElasticSearch Data. Simple Example At __main__ @author: wgzh159@163.com @note: uncheck consistency of data, please do it by self''' import jsonimport osim...原创 2016-01-19 14:02:54 · 1182 阅读 · 0 评论 -
linux命令行elasticsearch查询工具es2unix
当想在linux的命令行中查看elasticsearch的状态时，可以用es2unix这个工具，插件地址： https://github.com/elasticsearch/es2unix。它是elasticsearch官方推出的，可以通过命令来查看es的各种状态，安装方法 curl -s download.elasticsearch.org/es2unix/es > /bin/e...原创 2016-01-19 11:23:41 · 3715 阅读 · 0 评论 -
elasticserach 参数配置
elasticsearch的config文件夹里面有两个配置文 件：elasticsearch.yml和logging.yml，第一个是es的基本配置文件，第二个是日志配置文件，es也是使用log4j来记录日 志的，所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面主要讲解下elasticsearch.yml这个文件中可配置的 东西。cluster.name: el...原创 2016-01-19 11:18:29 · 155 阅读 · 0 评论 -
Java程序员须知的七个日志管理工具
Splunk vs. Sumo Logic vs. LogStash vs. GrayLog vs. Loggly vs. PaperTrails vs. Splunk>Storm日志管理工具有Splunk、Sumo Logic、LogStash、GrayLog、Loggly和PaperTrails等等，数不胜数。日志就像石油，二十多年了我们一直想摆脱它，却一直没有做到。...原创 2016-01-18 16:28:39 · 222 阅读 · 0 评论 -
elasticsearch的索引如何才能做到平滑切换
需求： 我有一个shoptopic_20150916的index，我需要把shoptopic_20150916的数据索引到shoptopic_20150917上，但shoptopic_20150916索引的数据还在不断增加，用户还在写入数据，我怎么把shoptopic_20150917替换shoptopic_20150916，而且在不重启集群的情况下？ ...原创 2016-02-22 08:53:08 · 595 阅读 · 0 评论 -
elasticsearch防止内存溢出
Limiting Memory UsageeditOn this pageFielddata SizeMonitoring fielddataCircuit BreakerElasticsearch - The Definitive Guide: 2.x (current)1.xForewordPrefaceGetti...原创 2016-02-22 09:07:25 · 3089 阅读 · 0 评论 -
Elasticsearch做"关联查询"——nested-parent关系
Elasticsearch作为一个面向文档的存储服务，并没有严格意义上的关联查询能力。但可以通过mapping来指定文档的nested-parent关系，实现关联。 下面以学生(student)和班级(clazz)的关系为例，演示这种"关联查询"： 建立一个索引test，有student和clazz两个type，存储班级和学生首先设置班级和学生的mapping：...原创 2016-03-26 09:18:52 · 209 阅读 · 0 评论 -
自动立体化运维监控理念
场景客户投诉有问题，于是研发测试运维开始投入定位和分析问题。A 研发去查日志，但是线上机器好多，一台一台的看， 日志文件太大，网速又慢，只能干等......B 研发同学觉得数据库可能有问题，但是自己又不能直接操作数据库，只能找DBA，但是DBA正好不在......C 运维同学更头大，一边要应付研发和测试的各种问题，一边还要自己查机器CPU、内存、io、网络、程序...原创 2016-03-17 10:05:53 · 407 阅读 · 1 评论 -
日志系统方案需求与实现
overview:1.聚合数据展示2.过滤数据3.读写分离集群4.ms级响应查询5.重要数据归档6.基于ossec logstash es 大数据安全关联分析需求与实现需求1: 能像tail -f 查看日志，集中式查看日志，不用单节点去查看。 解决需求1： 先调研开源日志方案:...原创 2016-03-14 11:10:06 · 950 阅读 · 0 评论 -
elastic作数据源，对比kibana与grafana
今天说说，我们为什么会选择从kibana4迁移到grafana，并选用grafana作为elasticsearch的图表展现工具。 文章中关于kinaba和grafana的对比会有些片面，勿喷. 最一开始使用kibana ElasticSearch的组合是为了集中式收集应用及系统日志. 后来由于业务方面的原因，现在各个业务的多数模块也选择依赖elasticsearch...原创 2016-03-10 15:37:47 · 1557 阅读 · 0 评论 -
基于ELK+Beats进行系统监控
（一）Beats是什么？ Beats是elasticsearch公司开源的一款采集系统监控数据的代理agent，它可以发送不同类型的数据到elasticsearch中，也可以行将采集完的数据发送到logstash中转，然后在推送到elasticsearch中，目前还在发展中，与成熟的监控系统zabbix和ganglia相比就界面看起来爽了点，系统功能还是有点弱，不过与elas...原创 2016-03-04 20:53:49 · 498 阅读 · 0 评论 -
论产品的需求与实现系列之日志系统
产品的需求与实现系列： 论产品的需求与实现系列之日志系统 论产品的需求与实现系列之监控系统 论产品的需求与实现系列之数据平台 论产品的需求与实现系列之ci持续集成 刚开始的需求1: 能像tail -f 查看日志，不用单节点去查看。 ...2016-03-04 20:45:31 · 174 阅读 · 0 评论 -
ELK logstash 处理mongodb日志
不同mongodb版本的日志格式不同，这个需要看mongodb官方对日志格式的定义，在处理前自己去做好这方面的功课。还有就是，要抓取自己感兴趣的内容，这个根据各自的需求来做，没有千篇一律的，全凭各自喜好。grok预定义的正则匹配规则可以参考 https://github.com/logstash-plugins/logstash-patterns-core/tree/master/patte...原创 2016-03-03 16:51:53 · 774 阅读 · 0 评论 -
我做过的三种sso对比
第一种很常见的sso，是整合开源的cas＋tomcat。这种方式不好的地方在于做集群负载session共享。我试了jboss，tomcat,还是发现ticket丢失，偶尔听运营同事反馈说，又有用户登陆不了，但重新刷新一下又可以了。时间久了，大家都会刷新解决问题。 第二种利用nginx作统一网关的形式。这种方式不友好的地方在于要记住很多域名，...2016-02-25 14:58:51 · 678 阅读 · 0 评论 -
ELK中无法启动kibana，解决“Elasticsearch is still initializing the kibana index… ”
kibana出现无法启动的问题，5601端口未连接，但进程存在，查看日志发现有如下报错“Elasticsearch is still initializing the kibana index… Trying again in 2.5 second.”ps:查看日志可以用 kibana -l xxx.log{“name”:”Kibana”,”hostname”:”kt5...原创 2016-02-23 14:35:23 · 2347 阅读 · 0 评论 -
使用ELK搭建社工库
from:https://www.t00ls.net/thread-32593-1-1.htmlELK是什么东西?ELK是ElasticSearch、Logstash、Kibana三个应用的缩写。 ElasticSearch简称ES，主要用来存储和检索数据。Logstash主要用来往ES中写入数据。Kibana主要用来展示数据。为什么用ELK?传统的社工库通常用MySQL数据库来进行搭建，在...原创 2016-02-23 11:40:11 · 3818 阅读 · 1 评论 -
kibana4 的安装、配置和使用
Kibana5 都出来了...... 简介kibana 是 Elastic.co 提供的个性化统计数据、图标展示页面，而 kibana4 则是一个全新的改版，与 kibana3 有着本质的不同kibana3 实质上是一组页面，通过 nginx 或 Apache 或其他任何一个服务器配置域名到目录的映射，实现访问，而全新的 kibana4 中集成了 nodej...原创 2016-02-23 10:57:30 · 431 阅读 · 0 评论 -
使用 Elasticsearch2.1 实现博客站内搜索
一直以来，为了优化本博客站内搜索效果和速度，我使用 bing 的 site: 站内搜索做为数据源，在服务端获取、解析、处理并缓存搜索结果，直接输出 HTML。这个方案唯一的问题是时效性难以保证，尽管我可以在发布和修改文章时主动告诉 bing，但它什么时候更新索引则完全不受我控制。本着不折腾就浑身不自在的原则，我最终还是使用 Elasticsearch 搭建了自己的搜索服务。Elasticse...原创 2016-01-13 09:58:12 · 404 阅读 · 0 评论 -
Elasticsearch 分片交互过程分析
问题：当我们要在ES中存储数据的时候，数据应该存储在主分片和复制分片中的哪一个中去；当我们在ES中检索数据的时候，又是怎么判断要查询的数据是属于哪一个分片。 数据存储到分片的过程是一定规则的，并不是随机发生的。 规则：shard = hash(routing) % number_of_primary_shards Routing值可以是一个任...原创 2016-01-11 10:24:37 · 142 阅读 · 0 评论 -
elasticsearch集群等概念入门
欢迎来到Elasticsearch的奇妙世界，它是优秀的全文检索和分析引擎。不管你对Elasticsearch和全文检索有没有经验，都不要紧。我们希望你可以通过这本书，学习并扩展Elasticsearch的知识。由于这本书也是为初学者准备的，我们决定先简单介绍一般性的全文检索概念，接着再简要概述Elasticsearch。我们要做的第一件事就是安装Elasticsearch。与许多应用相同...原创 2016-01-10 10:16:14 · 212 阅读 · 0 评论 -
ELK elasticsearch 插件管理
插件能额外扩展elasticsearch功能，提供各类功能等等。有三种类型的插件：java插件只包含JAR文件，必须在集群中每个节点上安装而且需要重启才能使插件生效。网站插件这类插件包含静态web内容，如js、css、html等等，可以直接从elasticsearch服务，如head插件。只需在一个节点上安装，不需要重启服务。可以通过下面的URL访问，如：http://node-ip...原创 2015-12-13 11:00:41 · 224 阅读 · 0 评论 -
ELK beats
ps:越来越强大了 beats是一个代理，将不同类型的数据发送到elasticsearch。beats可以直接将数据发送到elasticsearch，也可以通过logstash将数据发送elasticsearch。beats有三个典型的例子：Filebeat、Topbeat、Packetbeat。Filebeat用来收集日志，Topbeat用来收集系统基础设置数据如c...原创 2015-12-11 11:17:58 · 187 阅读 · 0 评论 -
ELK sense 编辑器(10th)
sense 是一个elasticsearch REST API交互式的控制台。Marvel 1.X 版本有带这个工具。Marvel2.X版本，sense从Marvel分离出来了，集成到kibana平台上了，作为kibana的一个插件。安装sense首先要安装kibana4.2或更高版本，参见上一篇。然后执行下面命令： 12# ./bi...原创 2015-12-11 11:13:19 · 178 阅读 · 0 评论 -
influxDB+graphite+grafana+stats+collect+elasticserach+zabbix
基于influxDB+graphite+grafana+statsd+collect+elasticserach+zabbix打造 一个全方位监控系统。这个是基于kamon+statsd+graphite+grafana的jvm，api，socket等信息截图 －－－－－－－－－－－－－－－－－－－－－－－－－－ In this article I’m going to ...2015-12-10 18:08:58 · 1722 阅读 · 0 评论 -
基于Lua+Kafka+Heka的Nginx Log实时监控系统
很有意思的组合 背景在我们的系统架构中，Nginx作为所有HTTP请求的入口，是非常重要的一层。每天产生大量的Nginx Access Log，闲置在硬盘上实在是太浪费资源了。所以，能不能把Nginx日志利用起来，实时监控每个业务的访问趋势、用户行为、请求质量和后端异常呢，这就是本文要探讨的主题。回到顶部目的错误码告警（499、500、502和504）；u...原创 2015-12-06 12:34:47 · 141 阅读 · 0 评论 -
ElasticSearch-2.0.0集群安装配置与API使用实践
上次使用还是1.7版，现在都升级2.0,真快，study ElasticSearch是基于全文搜索引擎库Lucene构建的分布式搜索引擎，我们可以直接使用ElasticSearch实现分布式搜索系统的搭建与使用，都知道，Lucene只是一个搜索框架，它提供了搜索引擎操作的基本API，如果要实现一个能够使用的搜索引擎系统，还需要自己基于Lucene的API去实现...原创 2015-12-01 09:24:02 · 212 阅读 · 0 评论 -
devops资料大全
备份备份软件Amanda -客户端-服务器模型备份工具Bacula - 另一个客户端-服务器模型备份工具Backupninja -轻量级，可扩展的元数据备份系统Backuppc -客户端-服务器模型备份工具和文件共享方案。Burp -网络备份和还原程序Duplicity -使用rsync算法加密的带宽-效率备份Lsyncd -监控一个本地目录树的变...原创 2015-11-26 20:44:26 · 711 阅读 · 0 评论 -
elasticsearch三个重要的优化
1、内存优化 在bin/elasticsearch.in.sh中进行配置 修改配置项为尽量大的内存： ES_MIN_MEM=8g ES_MAX_MEM=8g 两者最好改成一样的，否则容易引发长时间GC（stop-the-world）elasticsearch默认使用的GC是CMS GC 如果你的内存大小超过6G，CMS是不给力的，容易出现stop-the-world 建议使用G1 GC 注...原创 2015-11-05 09:33:08 · 134 阅读 · 0 评论 -
2015 使用过的ci,elkr，zabbix，ansible等回顾与相互融合
ps:本文不谈这些技术的什么，只谈工作上使用这些技术一些感悟，怎样更好把这些零散的技术集合，产生更有价值的生产力。 转眼间到新公司，一个半月上线使用ci系统，elkr日志系统，zabbix监控系统，更改前端nginx负载，使用ffmpeg,ansible,以及日常事处处理，整理文档，服务器使用规范等。回想这些从0到1的过程，不得不向自已点赞，因为，很多我只是利...2015-10-13 07:56:01 · 392 阅读 · 0 评论 -
elkr日志系统简介---kibana界面使用
elkr方案不是这里重点叙主的内容，现在重点说说kibana，怎样快速高效查看日志内容 discover的效果如下： 查看某个应用的日志 自动刷新日志自定义收藏索引 多个日志视图聚在一起 ...2015-10-08 10:31:39 · 933 阅读 · 0 评论 -
linux操作命令实时传显示在kibana
刚开始想到history ,history有三个不足的地方： (1)用户exit，history才有记录 (2)history -c 有被动删除风险 (3)不够实时 history这方案，kill掉，再想/etc/profile。profile，用户登录先检查的文件，并且里面可以写shell。具体shell如下： ...2015-10-07 10:42:52 · 154 阅读 · 0 评论 -
Graphite的百万Metrics实践之路
Graphite作为Metrics界的大哥它是RRDTool的Network Service版，和RRD一样支持Metrics的精度递减，比如一天之内10秒一条，7天之内聚合到1分钟一条，一年之内聚合到1小时一条。它支持丰富的查询函数，从简单的min/max/avg/sum 到 rate、top N等等，以Restful API提供。它有整个生态圈的插件支持，而且简单的TCP Pl...原创 2015-12-14 18:14:01 · 747 阅读 · 0 评论