liyonghui123的专栏

 tail-to-avroagent1.sources = source1agent1.sinks = sink1agent1.channels = channel1# Describe/configure spooldir source1#agent1.sources.source1.type = spooldir#agent1.sources.source1...

   基于flume-ng中原有exec的source类型，通过tail依赖于操作系统去监听文件内容变化，其次，不支持断点续传的功能：https://github.com/cwtree/flume-filemonitor-source该组件特点如下：1、一个source对应一个文件监控2、实时监控文件变化3、增量传输文件内容4、支持断点续传功能，即使flum...

  原有的spooling source的方式只支持一级目录的文件变动的检测，修改了一下源码支持对目录的递归检测，可以支持多级目录下的文件变动ReliableSpoolingFileEventReader类增加以下下方法 /** * add by * * @param files * @param dir * @param filter...

    nginx的日志文件没有rotate功能。如果你不处理，日志文件将变得越来越大，还好我们可以写一个nginx日志切割脚本来自动切割日志文件。第一步就是重命名日志文件，不用担心重命名后nginx找不到日志文件而丢失日志。在你未重新打开原名字的日志文件前，nginx还是会向你重命名的文件写日志，linux是靠文件描述符而不是文件名定位文件。第二步向nginx主进程发送USR1信号。ng...

  package com.iteblog.flume; import com.google.common.base.Preconditions; import com.google.common.base.Throwables; import com.google.common.collect.Lists; import org.apache.flume.*...

 本人亲自执行操作，希望可以帮到想学Flume的你 1）简介Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。设计目标：(1) 可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：e...

 （说明，名词对应解释 源-Source，接收器-Sink，通道-Channel）     配置     设置代理            Flume代理配置存储在本地配置文件。这是一个文本文件格式，是Java属性文件格式。在相同的配置文件，可以指定一个或多个代理的配置。配置文件包括每个源，接收器和通道，把它们连接在一起，形成数据流。...

   1，作为Producer的Flume端配置，其中是以netcat为source数据源，sink是kafka  #agent section producer.sources = s producer.channels = c producer.sinks = r #source section #producer.sources.s...

  采用的channels为file，sink为hdfs，此处往hdfs写的策略是当时间达到3600s或者文件大小达到128M。可以自己调整 agent1.sources = source1agent1.sinks = sink1agent1.channels = channel1# Describe/configure spooldir source1#a...

 Hive的表创建为外部分区表，例如： USE mydb;CREATE EXTERNAL TABLE mytable(   c1 String,  c2 INT,  c3 INT,  create_time String)PARTITIONED BY (dt STRING)ROW FORMAT DELIMITED FIELDS TERMINATE...

  ---------------------缓存： 1、php的fastcgi缓存 fastcgi_cache见上面配置：php fastcgi的缓存：http://www.360doc.com/content/15/0816/14/552866_492084033.shtmlhttps://zhangge.net/5042.htmlhttps://githu...