1 官网地址 apache链接 cdh链接 2 产生背静 对于关系型数据库我们可以使用sqoop进行数据的处理，导入hive，hdfs,mysql等。那对于一些日志该怎么处理呢？（From outside To inside ），怎么样定时收集ng产生的日志到HDFS呢？ 我们可能想到直接使用shell写一个脚本，使用crontab进行调度，这样不就行了吗。。但是大家有没有想到一个...

1 使用正则表达式即按照时间戳保存 Source:Spooling Directory Sink：hdfs Channel:memory 配置文件 a1.sources=r1 a1.sinks=k1 a1.channels=c1 a1.sources.r1.type=spooldir a1.sources.r1.spoolDir=/home/hadoop/data/spool...

环境 flume-1.6.0-cdh5.7.0-bin kafka_2.11-0.10.0.1 错误 圈出来的日志信息明显提示我们因为配置文件的错误导致我们sink挂了，所以产生下面的错误，org.apache.flume.conf.ConfigurationException: brokerList must contain at least one Kafka broker ...

概述 最近翻Flume官网又有了新的收获，准备对Flume进行一个详细的描述，Fume到底是什么，有什么用，怎么用，选型问题，各种参数选择。当然对于参数的选择作者在以前刚开始学习的时候遇到过不少坑，不同的版本参数是不一样的，大家一定要对应着自己的版本去官网查找，官网是最权威的。有什么不对的地方大家相互交流学习。 Flume介绍 老规矩官网地址 Flume是一种分布式，可靠，高可用的服务，用...