lv_hulk的博客

Flume的基础介绍一、背景Hadoop业务的整体开发流程：　　从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步.许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：（1） 构建应用系统和分析系统的桥梁，并将它们之间的关...

Flume的Source类型一、概述官方文档介绍：http://flume.apache.org/FlumeUserGuide.html#flume-sources二、Flume Sources 描述2.1　Avro Source2.1.1　介绍监听Avro端口，从Avro client streams接收events。当与另一个（前一跳）Flume agent内置的Avro...

Flume的配置方式一、单一代理流配置1.1　官网介绍http://flume.apache.org/FlumeUserGuide.html#avro-source通过一个通道将来源和接收器链接。需要列出源，接收器和通道，为给定的代理，然后指向源和接收器及通道。一个源的实例可以指定多个通道，但只能指定一个接收器实例。格式如下：实例解析：一个代理名为agent_foo，外部通过avro客...