andy的博客

设置flume采集数据文件大小接近128M,正好符合hdfs的块大小,能防止小文件过多,也能充分利用namenode的文件管理系统.配置列表如下

大数据技术之Flume 第1章 Flume概述 1.1Flume定义 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 1.2Flume基础架构 Flume组成架构如下图所示。 1.2.1 Agent Agent是一个JVM进程，它以事件的形式将数据从源头送至目的。 Agent主要有3个部分组成，Source、Channel、Sink。 1.2.2 Source Source是负责接收数据到Fl...

1.4.1 Flume组成，Put事务，Take事务 1）taildir source （1）断点续传、多目录 （2）哪个Flume版本产生的？Apache1.7、CDH1.6 （3）没有断点续传功能时怎么做的？自定义 （4）taildir挂了怎么办？ 不会丢数：断点续传 重复数据： （5）怎么处理重复数据？ 不处理：生产环境通常不处理，出现重复的概率比较低。处理会影响传输效率。 处理 自身：在taildirsour...