Black Shadow

flume nginx 日志处理异常 JsonParseException: Unexpected character (‘(’ (code 40)): expected a valid value最近flume处理nginx日志，每隔几天就断一次，出现JSON反序列化异常异常堆栈：2016/01/26 14:37:49.043 [ERROR] [] [] [SinkRunner-PollingRu

nginx 日志格式 2.81.22.87 - - [2016-01-08T15:33:55+08:00] "GET /do_not_delete/noc.gif HTTP/1.1" 200 3166 "-" "ChinaCache" "-" "0.000" "-" "-"2.81.22.83 - - [2016-01-08T15:33:55+08:00] "GET /do_not_delete/

flume: 1.6.0 elasticSearch: 1.6.0kibana： 4.1.3-linux-x64下载地址：http://mirrors.hust.edu.cn/apache/flume/1.6.0/apache-flume-1.6.0-bin.tar.gzhttps://download.elastic.co/elasticsearch/elasticsearch/elasticse

描述最近使用 log4jFlumeAppender ，通信一会就会中断，自己将 log4jFlumeAppender 改造了2星期，重新看了 NettyAvroRpcClient 和 Netty 源码，最后还是经常性的异常，导致需要重新连接服务器，导致worker线程频繁性关闭和新建。最后决定在看服务器的代码，后来通过配置capacity（增大）， 一般比较稳定，但还是每隔几分钟就会异常。使劲增大

自己改造的 FlumeClinet 的 Log4jAppender修改了异常/断线重连修改header时间格式为ISO8601格式增加字符串LEVEL参数支持event.properties加入header(MDC)FlumeAppender.javapackage org.apache.log4j.client;import org.apache.avro.Schema;import