日志收集
关注
分享
扫一扫
年华似水
一小程序员，每天为梦想拼搏！
展开
-
Flume环境部署和配置详解及案例大全
转自：http://www.jb51.net/article/53542.htmflume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 一、什么是Flume? flume 作为 cl转载 2015-01-15 17:48:39 · 2591 阅读 · 0 评论 -
Flume Avro 两台机器间进行数据传输的方式
flume 通过avro方式在两台机器之间进行数据传输比如要在192.168.17.18 上把数据传到 192.168.17.171 首先要再两台机器上都部署 flume2 在 17 flume下这样配置 avro-flume.confagent3.channels = ch1agent3.sources = avro-source1agent3.sinks = log原创 2015-03-31 18:19:40 · 13613 阅读 · 1 评论 -
Kafka flume 整合
前提前提是要先把flume和kafka独立的部分先搭建好。下载插件包下载flume-kafka-plus:https://github.com/beyondj2ee/flumeng-kafka-plugin把lib目录下的和package下的 都放到flume的lib目录修改原有的flume-conf文件原创 2015-04-16 17:00:30 · 5923 阅读 · 0 评论 -
Flume配置
cp flume-env.sh.template flume-env.sh加入JAVA_HOME=/home/cdh/java 在conf/avro-flume.confagent3.channels = ch1agent3.sources = avro-source1agent3.原创 2015-04-15 11:21:22 · 28461 阅读 · 0 评论