大数据
关注
分享
扫一扫
文章平均质量分 86
yue2008
这个作者很懒，什么都没留下…
展开
-
Flume简介及安装配置
Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume以agent为最小的独立运行单位。一个agent就是一个JVM。单agent由Source、Sink和Channel三大组件构成。 Flume的数据流由事...原创 2016-04-17 13:33:03 · 121 阅读 · 0 评论 -
Flume使用范例
范例主要的处理流程说明如下： 1、web应用的日志信息实时输出到ActiveMQ 2、Flume的Source从MQ指定队列中获取消息，并提交到内存型Channel中 3、自定义Sink从Channel提取event，对event进行转换处理，并写入到Oracle数据库 开发自定义的Sink，编译打包成jar包，并上传到/opt/apache-flume-1....原创 2016-04-17 13:53:43 · 168 阅读 · 0 评论