厚积而薄发

前几天用到flume的日志收集，基于公司的业务对flume本身自带的hbase插件做了些改造，测试的时候却出现了丢数据和多数据的问题……1.首先查看collector的event数，是与原数据量相符的。所以在agent与collector的交互过程是没有问题的2.查看开发插件业务处理过程，看了好几遍感觉也没问题。3.于是问题只有可能出现在hbase的数据处理上了。本来是基于flume自

Source catalog:1.Console 控制台输出，可以带输出内容格式的参数比如console(“raw”), console(“json”)2.text("filename"[, format])一次读取文件内容，每一个换行做为一个事件。3.tail("filename"[,startFromEnd=false]{,delim="regex", delimMode=

Flume安装 介绍Flume本身的安装比较简单（flume的介绍请参考http://blog.youkuaiyun.com/rzhzhz/article/details/7448633），安装前先说明几个概念,先看flume的架构1.    Flume分三种角色       Mater:  master负责配置及通信管理，是集群的控制器。       Collector: col

Flume配置文件(flume-site.conf)1、 watchdog watchdog.restarts.maxwatchdog每分钟重启的最大数???        2、 common node flume.config.heartbeat.periodnode发送心跳周期,默认5000(毫秒)

一直都是用flume的pull方式收集日志数据，为了便于以后对业务系统实时日志收集的扩展，今天研究了下push方式的日志收集。 1.首先agent端应该配置以下几种source（监听TCP/UDP端口）：   syslogUdp(port)监听Udp端口syslogTcp(port)监听Tcp端口sys

一直用flume做数据收集，用了好一阵子都没出现数据误差的问题，今天在导入数据的时候却突然出现了数据暴增的问题，查看原始数据文件，只有几十万条数据，可却收集到了几百万的event，而且还在持续的增加。很奇怪，首先以为是插件更新的问题，后来换成最原始的console作为Collector的sink，问题依旧存在。然后清理配置数据重新启动，问题还是没有解决。      查看原始数据并与原有的数据对

之前集群的配置为hadoop-0.20.3，hbase-0.90.4，zookeeper-3.3.4,hive-0.8.1。hadoop还算稳定，基本没什么bug，而hive基于hbse查询时真是问题百出，hbase各种bug，比如丢数据，丢表，regionserver频繁宕机，各种打补丁，改错误搞得我脑袋都要爆了。于是决定给hbase来一个彻底的升级替换。一.   先是把hbase升级为

很久没接触flume了，刚掀开官网一看，发现flume已然不是以前的那个flume了，其实早在flume技术群就听到NG这个字眼，以前没特注意，今天做了些对比，发现flume确实有了投胎换骨般的改变。首先介绍下Flume OG & Flume NG这两个概念Flume OG:Flume original generation 即Flume 0.9.x版本Flume NG:Flume nex

在做批量部署和启动flume（flume-1.3.1）的时候，发现有些机器无法自启动，检查时发现启动时报错如下/opt/local/flume-1.3.1/bin/flume-ng: line 81: syntax error in conditional expression: unexpected token `('/opt/local/flume-1.3.1/bin/flume-ng: