tom_fans的博客

之前我们的架构方式采用的是spark+hbase+oozie解析存储及调用算法模式，最近突然出现一个需求，会有很多小文件上传，而且要求达到伪实时处理，也就是秒级别，spark很显然不适合解析了，哪怕是几十行的文件， spark也基本是分钟级别。我想过2个方案来处理，一个是使用纯JAVA来解析文件，另外一个就是使用flume来解析并直接存储到HBASE。下载最新版本Flume1.8，通过spoolD...

上篇Flume谈到setwritewal出错的问题，通过注释了3行代码。但是由于rowkey默认是自动产生的，产生的规则通过源代码可以看出，规则是：String rowKey = String.format("%s-%s-%s", cal.getTimeInMillis(), randomKey, nonce.getAndIncrement());如果要自定义rowkey，修改源代码是唯一的办法，...