qq_28286027的博客

1.kafka基本理论知识 1、定位：分布式的消息队列系统，同时提供数据分布式缓存功能（默认7天） 2、消息持久化到磁盘，达到O(1)访问速度，预读和后写，对磁盘的顺序访问（比内存访问还要快） 3、Storm（分布式的实时计算框架） Kafka目标成为队列平台 4、基本组件： Broker：每一台机器是一个Broker Producer：日志消息生产者，主要写数据 Consumer：日志消息消费者...

1.Flume的安装非常简单，只需要解压即可，当然，前提是已有hadoop环境 上传安装包到数据源所在节点上 然后解压tar -zxvf apache-flume-1.6.0-bin.tar.gz 然后进入flume的目录，修改conf下的flume-env.sh，在里面配置JAVA_HOME 2、根据数据采集的需求配置采集方案，描述在配置文件中(文件名可任意自定义) 3、指定采集方...

1、采集目录到HDFS 采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去 根据需求，首先定义以下3大要素 采集源，即source——监控文件目录 : spooldir 下沉目标，即sink——HDFS文件系统 : hdfs sink source和sink之间的传递通道——channel，可用file channel 也可以用内...