u013429010的博客

一、业务现状分析 在现实业务中我们有很多服务和系统，包括： 1)network devices 网络设备 2)operating system 操作系统 3)web servers 4)Applications 应用 这些系统产生大量的日志和生产数据， 那么我们需要将以上系统中的日志文件迁移到Hadoop集群中， 在这个过程中，我们有以下几种方式： 1)直接SCP复制到Hadoop集群，通过hdf...

1、使用Flume的关键就是写配置文件 1）配置Source 2）配置Channel 3）配置Sinks 4）将以上三种组件串联起来 在cd $FLUME_HOME/conf vim example.conf #example.conf内容 # a1可以看做是flume服务的名称，每个flume都由sources、channels和sinks三部分组成 # sources可以看做是数据源头、cha...

在cd $FLUME_HOME/conf vim exec-memory-logger.conf #exec-memory-logger.conf内容 # a1可以看做是flume服务的名称，每个flume都由sources、channels和sinks三部分组成 # sources可以看做是数据源头、channels是中间转存的渠道、sinks是数据后面的去向 a1.sources = r1 a...

架构图： 技术选型： exec source + memory channel + avro sink avro source + memory channel + logger sink 1)server A 数据收集端 在cd $FLUME_HOME/conf vim exec-memory-avro.conf #exec-memory-avro.conf内容 # a1可以看做是flume服...