u011820505的博客

现状分析:多个应用产生不同的日志文件   现用户需要收集日志 如何解决我们的数据从其他的servcer 上移动到hadoop之上  1.shell cp hadoop集群机器上， hadoop fs -put ..../    问题，容错(当hadoop机器挂了，怎么处理) 高延时(cp时间间隔,多久一次) 压缩(文件io传输大)  2.flume   写onfiguration file   ...

# example.conf: A single-node Flume configuration 使用flume的关境就是写配置文件 A)配置source B)配置channel C)配置sink D)把以上3个组件串起来 a1： agent名称 r1：source的名称 k1：sink的名称 c1: channel的名称 # Name the components on this a...

  agent 选型    exec source +memory channel +logger sink     # example.conf: A single-node Flume configuration # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # De...

  #跨节点传输采用avro sink agent 选型    A机器 exec source +memory channel +avro sink    B机器 avro source +memory channel +logger sink exec-memory-avro.conf # exec-memory-avro.conf: A single-node Flume configu...