随笔一记/**

一、基本概念 1.source2.channel3.sink二、配置文件通常写在/conf下。举个例子：vi ./conf/flume-conf.properties1.写source、channel、sink名字2.确定哪个source连接哪个channel、哪个channel连接sink 3.sinks.type、channels.type、sources.type...

一、如何使用flume将文件存到hdfs简单例子：#set nameagent1.sources = source1agent1.channels = channel1agent1.sinks = sink1#link sources and sinksagent1.sources.source1.channels = channel1agent1.sinks.sink1.channel = ch...

一、分区：    将查询限制在某个分区内。    将数据存储的方式更改为分区存储方式：        对hdfs.path进行设置。        举个例子：            agent1.sinks.sink1.hdfs.path = /usr/logs/year=%Y/month=%m/day=%d'二、拦截器 :    使用interceptors声明拦截器    举个例子：     ...

    事件是由一个可选的header和一个二进制的body组成。    举个例子：          在控制台看到的事件：         Event:{headers{} body:48 65 6C 6C 6F 20 46 6C 75 6D 65 HELLO FLUME}        加了拦截器可以在头部生成一些东西，例如在headers里面加个时间戳什么的        intercept...