SW_LCC的博客

简介LoadBalanceSinkProcessor是flume实现负载均衡的重要方式，可有效的提高资源利用率，提升数据传输的速度。配置参数参数默认值描述type-load_balanceselectorround_robinround_robin或randombackofffalse若为true,失败的Sink将加入黑名单，时间以指数增长...

简介FailoverSinkProcessor是Sink组的处理器，其工作机制是通过优先级的方式选择Sink进行数据发送，最高级的Sink会持续写数据的优先权，直到其执行失败，被加入失败队列待经常最大失败回退时间恢复后重新执行。配置参数参数默认值描述type-failoverpriority-sink优先级maxpenalty30000(ms)失...

简介channel处理器用于决定source接收的时间写入哪个channel，由其通知channel，并将时间写入。选择器类型flume自带两种选择器:1.relicating(复制选择器）,默认使用2.multiplexing(多路复用选择器)1.复制选择器复制选择器会复制每个source接收的事件，将事件复制并分发到所有channel，可通过配置参数，控制分发的channel。...

如果要将SparkStreaming产生的系统日志发送给Flume则要在log4j.properties中添加如下配置:log4j.rootLogger=INFO,flumelog4j.appender.flume=org.apache.flume.clients.log4jappender.Log4jAppenderlog4j.appender.flume.Hostname=192.16...

HttpSourcehttpsource允许是flume提供的能接收get和post的http请求，http请求会被HttpHandler接口实现类处理，从而将http请求转换为event从而提交到channel。http适用于一些无法通过部署SDK接收日志的场景，例如游戏客户端。HttpSource配置使用HttpSource基本配置参数配置参数默认值描述type...

Memory Channel使用LinkedBlockingDeque实现,数据基于双向队列存储，可从从两端取出，插入。主要属性:LinkedBlockingDeque queue: 存放EventSemaphore queueStored : queue中已使用空间private volatile Integer transCapacity :一个事务中Event的最大数目Se...

AvroSourceAvro Source是flume主要的RPC Source，能接收其他节点的Avro Sink或者用Flume SDK发来的数据,常与Avro Sink结合作为缓冲使用。关于Avro，这篇文章有作介绍，链接:Avro使用详解AvroSource配置参数配置参数默认值描述type-source类型bind-ip地址，0.0.0.0绑...

public class Application { private static final Logger logger = LoggerFactory .getLogger(Application.class); public static final String CONF_MONITOR_CLASS = "flume.monitoring.type"; pub...

flume-ng 启动当flume配置好后，使用 bin/flume-ng agent -n agent -c conf -f conf/flume-demo.conf -Dflume.root.logger=INFO,console ，即可利用flume-ng脚本以及传入的各参数启动flume服务。flume-ng脚本在这里注意，FLUME_AGENT_CLASS=“org.apache...

Flume简介Flume 是 Cloudera 提供的日志收集系统， 使用java语言编写，具有分布式、 高可靠、高可用性等特点， 适用于大数据的数据收集，聚合转换和传输。 Flume 支持在组件式配置，用户可以根据不同的应用场景部署各个组件。组件可以使用官方提供的，也可以使用用户自己二次开发的。Flume架构Flume的核心为Agent，每个Agent是一套完成的数据传输工具，完成数据的接...

1.java.nio.channels.ClosedChannelException Unexpected exception from downstream一般来说，这种错误是source往channel写入数据时错误才有的异常，因此只需根据实际情况去处理就行。但有另一种错误，我们配置zabbix监控flume端口时，会每隔固定时间往source端口建立一个tcp连接但并没有发送具体数据。查看...