xtsheng123456的博客

Aapche Flume是由Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件，网址： http://flume.apache.org/Apache Flume的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(channel)，待数据真正到达目的地(sink)后，flume在删除自己缓存的数据。

sqoop是mysql/oracle/DB2等RDBMS体系与hdfs/hive/hbase等hadoop生态体系之间传输数据的一种工具；sqoop的工作机制是将导入导出命令翻译成MapReduce程序实现sqoop可以理解为: SQL-->hadoop and hadoop-->SQL数据导入导出:数据导入: RDBMS-->hadoop数据导出: hadoop-->RDBMS。