Flume
关注
分享
扫一扫
文章平均质量分 71
caiandyong
浮躁的心不会积淀出成功的土壤，清幽的路上风景更美好！
展开
-
Flume把事件写入多个信宿
1.创建agent配置文件把下列内容存入agent7.conf,并保存到Flume的工作目录/opt/flume/bin下面agent7.sources = netsourceagent7.sinks = hdfssink filesinkagent7.channels = memorychannel1 memorychannel2agent7.sources.nets原创 2015-03-14 22:04:25 · 558 阅读 · 0 评论 -
Flume安装配置
Flume简介： Flume被描述为分布式的日志收集系统 ，其处理的是基于文本行的文本数据。其并不是一个通用的分布式数据平台，不要期望用其获取或者传输二进制数据。 Flume可以从多个数据源获取数据，并把这些数据传给远程主机，再把它们传给多个目的段。Flume安装：0.安装前提是系统已经安装了JDK和Hadoop1.下载Flume的二进制原创 2015-03-14 19:26:22 · 665 阅读 · 0 评论 -
Flume把网络数据写入HDFS
1.创建agent配置文件把下列内容存入agent4.conf,并保存到Flume的工作目录/opt/flume/bin下面agent4.sources = netsourceagent4.sinks = hdfssinkagent4.channels = memorychannelagent4.sources.netsource.type = netcatagen原创 2015-03-14 19:46:30 · 814 阅读 · 0 评论 -
Flume timestamp拦截器
Flume拦截器简介Flume拦截器就是一个插件，可以在从信源到信宿传输事件的过程中操作和修改事件。大多数拦截器要么在事件的基础上加上一些元数据要么基于某些规则删除一些事件。Flume拦截器例子1.创建agent配置文件把下列内容存入agent5.conf,并保存到Flume的工作目录/opt/flume/bin下面agent5.sources = netsource原创 2015-03-14 19:53:02 · 1701 阅读 · 0 评论 -
Flume把网络流量存入日志文件
1.创建agent配置文件把下列内容存入agent1.conf,并保存到Flume的工作目录/opt/flume/bin下面agent1.sources = netsourceagent1.sinks = logsinkagent1.channels = memorychannelagent1.sources.netsource.type = netcatagent原创 2015-03-14 19:33:44 · 2007 阅读 · 0 评论 -
Flume把命令执行结果写入平面文件
1.创建agent配置文件把下列内容存入agent2.conf,并保存到Flume的工作目录/opt/flume/bin下面agent2.sources = execsourceagent2.sinks = filesinkagent2.channels = filechannelagent2.sources.execsource.type = execagent2原创 2015-03-14 19:37:51 · 854 阅读 · 0 评论