fengfengchen95的博客

前提条件：1.java 1.7以上2.足够的内存，比如Channel使用内存的情况3.足够的磁盘空间，Channel使用file的类型，数据必然存机器上，所有要足够的空间4.目录的权限，目录的读写权限。 安装JDK1.tar -zxvf jdk-1.8 -c ~/app2.配置系统环境变量 ：vi ~/.bash_profile3.source ~/.bash_profile4.java -ver...

环境win7+jdk7+flume1.7注：最新版flume1.8需要jdk1.8支持安装jdk的安装不多赘述，flume1.7的安装。进入官网：http://flume.apache.org/ 然后找到1.7版本下载解压即可根据官方文档quickStart解压文件中打开docs文件夹中的index.html即可本地查看文档进入Flume 1.7.0 User Guide 根据stepup进行操作...

上一篇将了如何使用Flume收集SQL server Board中的新增数据进行处理，如下针对更新的数据进行分析需求：对Board表更新的数据进行处理1.创建一个存更新数据的表Tri_Board_Update,表结构基本和原表机构一样，但需要添加Update_id（唯一标识列），TriggerTime（触发时间）方便后续Flume的数据收集CREATE TABLE [dbo].[Tri_Board...

1.为表创建触发器

1.修改flume的配置文档exec-memory-kafka.conf ，使用kafka sink# Name the components on this agenta1.sources = r1  #a1代表agent名称，r1:数据源的名称a1.sinks = k1    #k1 sink名称a1.channels = c1  #c1 channel名称# Describe/configu...

1.Flume安装位置：10.96.183.54：  /home/hadoop/flume-1.7.0/2.配置文档：Aoi.propertiesaoi.channels = c1 aoi.sources = r1aoi.sinks = k1 aoi.sources.r1.type = spooldir  aoi.sources.r1.channels = c1aoi.sources.r1.spo...

将A服务器上的日志采集到B服务器技术选型：(1)exec source +memory channel +avro sink(2) avro source +memory channgel+logger sink 需要写两个配置文档写配置文档A服务器：exec-memory-avro.conf exec-memory-avro.sources = exec-source  #a1代表agent名称...

传统数据收集方案：（1）shell 脚本 cp的方式将log copy到集群的机器上， hadoop fs -put ........        缺点：监考不方便；时效性低，IO开销大，容错和负载均衡差Flume收集：           在传统方案的基础上产生的Flume框架，主要通过配置文件对数据进行收集，很少写代码，操作简单Flume网址：flume.apache.orgFlume特点:...

Fulme的关键是写配置文件首先要确定Agent 的选型， exec source+ memory channel +logger sink配置：# Name the components on this agenta1.sources = r1 #a1代表agent名称，r1:数据源的名称a1.sinks = k1 #k1 sink名称a1.channels = c1 #c1 c...

经过一番折腾后终于实现window系统通过flume将txt中的数据抽取到Sqlserver中,现将开发过程分享如下：windows中环境部署 (1) jre-8u171-windows-x64.exe (2) apache-flume-1.7.0-bin (3)编写flume的配置文档client.propertsa1.channels = c1a1.sources = r...