AndyLizh的专栏

最近才开始在项目中使用logback，有一种相见恨晚的感觉，因为它很轻易的满足了我的几个需求：        1. 配置简单，易于上手        2. 一个日志文件中只能某一个级别的日志        3. 一个类中可以指定多个不同的日志，并且生成的每个日志文件中只包含其本身的内容        4. 可以关闭或者打开某几个包的日志，并且可以设置不同的包

有一段时间没有关注Logstash这个项目了，现在几个项目统一在ElasticSearch下面了。可喜！http://www.elasticsearch.org/overview/elkdownloads/Logstash是什么大家在每台服务器上都有Log，规模小的话，一台一台机器登进去看当然没问题。但是当你有上十台以上，管理成本开始增加了，Logstash就是为了解决这个问题。

在日常运维工作中，对于系统和业务日志的处理尤为重要。今天，在这里分享一下自己部署的ELK（+Redis）-开源实时日志分析平台的记录过程（仅依据本人的实际操作为例说明，如有误述，敬请指出）~一、概念介绍日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而

logstash是一个数据分析软件，主要目的是分析log日志。整一套软件可以当作一个MVC模型，logstash是controller层，Elasticsearch是一个model层，kibana是view层。      首先将数据传给logstash，它将数据进行过滤和格式化（转成JSON格式），然后传给Elasticsearch进行存储、建搜索的索引，kibana提供前端的页面再进行搜

spring mvc+ELK从头开始搭建日志平台 最近由于之前协助前公司做了点力所能及的事情，居然收到了一份贵重的端午礼物，是给我女儿的一个乐高积木，整个有7大包物件，我花了接近一天的时间一砖一瓦的组织起来，虽然很辛苦但是能够从过程中体验到乐趣。这次将分享从头搭建分布式日志系统，主要是在spring mvc上结合ELK套件实现（之前有些工作由于分工不同由不同的同事来完成，我只是在已经配

在生产环境中，nginx日志格式往往使用的是自定义的格式，我们需要把logstash中的message结构化后再存储，方便kibana的搜索和统计，因此需要对message进行解析。　　本文采用grok过滤器，使用match正则表达式解析，根据自己的log_format定制。1、nginx日志格式　　log_format配置如下：log_format main

单个进程 logstash 可以实现对数据的读取、解析和输出处理。但是在生产环境中，从每台应用服务器运行 logstash 进程并将数据直接发送到 Elasticsearch 里，显然不是第一选择：第一，过多的客户端连接对 Elasticsearch 是一种额外的压力；第二，网络抖动会影响到 logstash 进程，进而影响生产应用；第三，运维人员未必愿意在生产服务器上部署 Java，或者让 lo

我们通过Logstash收集的Nginx Access log中已经包含了客户端IP的数据（remote_addr），但是只有这个IP还不够，要在Kibana的显示请求来源的地理位置还需要借助GeoIP数据库来实现。GeoIP 是最常见的免费 IP 地址归类查询库，同时也有收费版可以采购。GeoIP 库可以根据 IP 地址提供对应的地域信息，包括国别，省市，经纬度等，对于可视化地图和区域统计非常有

简介  当我们查看访问网站的流量的来源时，往往通过awk+sed或其他工具分析日志文件，有没有一种方式可以实时查看并且在地图上直观的表现出来？当然，我们的Kibana就可以做到，下面我们来看看如何配置吧。配置本文是在http://http://blog.youkuaiyun.com/yanggd1987/article/details/50460246博文基础上进行配置，所有的配置文件

上一篇ELK安装简单说了下安装ELK，这一篇就来具体说下怎么让者三个联动起来。 其工作流程如下图所示，（从Kibana官网拿的流程图） 简单来讲，其具体流程是logstash agent 监控并过滤日志，将过滤后的日志内容发给Redis(这里的redis只处理队列不做存储)，logstash index将日志收集在一起交给elasticSearch，并通过Kibana进行展示。 

我们通过Logstash收集的Nginx Access log中已经包含了客户端IP的数据（remote_addr），但是只有这个IP还不够，要在Kibana的显示请求来源的地理位置还需要借助GeoIP数据库来实现。GeoIP 是最常见的免费 IP 地址归类查询库，同时也有收费版可以采购。GeoIP 库可以根据 IP 地址提供对应的地域信息，包括国别，省市，经纬度等，对于可视化地图和区域统计非常有

Geoip过滤器可以给IP地址添加地理位置信息，包括归属地、经纬度等。Geoip参考的数据库是Maxmind，同时它也可以让用户设置自己的查询数据库。Geoip的基本配置：geoip { source => ...}123123配置参数：1. add_fieldfilter { geoip { add_field => { "foo_%{som

1.安装GeoIP数据库    cd /usr/local/logstash/etc  curl -O "http://geolite.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz"  gunzip GeoLiteCity.dat.gz  1  2  3  2.配置logstash使用GeoIP  

背景业务目的是能够分析nginx和apache每天产生的日志，对url、ip、rest接口等信息进行监控，并将数据发送到elasticsearch服务。config输入从日志文件中获取信息file { path => "/home/keepgostudio/demo/logs/test.log" start_position => "beginn

介绍一下如何从Java工程中导出log4J日志到Logstash。一、log4j基础不能免俗的官方介绍:Log4j 是一个使用 Java 语言编写的，可靠、快速、灵活的日志框架（API），使用 Apache Software License 授权。它被移植到 C、C++、C#、Perl、Python、Ruby 和 Eiffel 语言中。Log4j 是高度可配置的，在运行期使

前言开始博客之前，首先说下10月份没写博客的原因 = =。 10月份赶上国庆，回了趟老家休息了下，回来后自己工作内容发生了点改变，开始搞一些小架构的东西以及研究一些新鲜东西，当时我听到这个消息真的是开心得不得了， 0 0。 然后就是把搜索模块交给我搞了，哇咔咔，以前学过lucene和solr，所以不陌生，花了1个多星期将搜索模块的原型搭出来了，果然不负leader对我的信任，之后就是搞日志

ELK简介ELKStack即Elasticsearch + Logstash + Kibana。日志监控和分析在保障业务稳定运行时，起到了很重要的作用。比如对nginx日志的监控分析，nginx是有日志文件的，它的每个请求的状态等都有日志文件进行记录，所以可以通过读取日志文件来分析；redis的list结构正好可以作为队列使用，用来存储logstash传输的日志数据。然后elasticsearch

简介Logstash   是一个开源的数据采集引擎。Logstash 就像是一个管子，左面接数据源接收数据，右面接存储目的地，管子中间有过滤器，对接收到的数据进行过滤，只存储符合要求的数据。例如左面可以对接 日志文件 、 Reids 、 Kafka   ……  右面可以对接 Elasticsearch 、 Kafka 、 MongoDB ……