qq_39034845的博客

Fiume内部原理1.首先Flume中的组件最先接收到数据的是Source2.Source在接收到数据后，会把数据包装成Event，并且把数据交给Channel处理3.由ChannelProcessor决定具体怎么交到Channel以及交到哪个Channel4.在ChannelProcessor处理流程的过程中，首先会将事件拿过来发给拦截器（链）。拦截器（链）可以先进行数据的清洗、处理不合格的数据。比较常用的是给数据加一些header。拦截器尽量不要写过重的逻辑，否则会影响流式处理的链条，整个效

Flume事务Flume事务1.put事务2.take事务Flume事务Flume在处理数据的时候，涉及到数据流动的有两个地方。一个是Source向Channel中放数据的时候，涉及到一个数据的发送（put事务）。还一个是Sink从Channel中拉取数据，也涉及到一个数据的发送。当涉及到数据的批量操作时，就会通过事务来保证数据的一致性和完整性。1.put事务流程：Flume在内存中建立以块缓存，所有Source拉来的数据会包装成Event，并在putList中进行积累。到达一定程度的时候（到达一定

Flume3.0概述、安装与部署、两个简单的小案例一：Flume概述1.Flume的定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。所谓的流式架构，简单来说就是数据源源不断的来，并且不停的处理输出，相对于流式架构，有一个静态数据处理，静态数据处理的代表为mapreduce。流式数据处理的主要两个特点,一个是源源不断，另一个是粒度细（按行收集数据），粒度越细，实时性越高Flume的主要作用就是，实时 读取服务器本地