williamccc的博客

Flume Agent 内部原理 从Soure 到 Channel过程 首先，source将接收的数据，封装成一个个的事件(event), 在事件进入Channel之间，首先要先进去Channel Processor 来处理事件，(事件就是一个个的对象) 所以我们可以在它进去channel之间进行很多操作去处理event。 例如我们可以写一个事件拦截器链设置一定条件，如果传输来的事件，不符合我们的要求，可以直接pass掉，对当前事件的处理，到此结束。设置的拦截器都需要一个个走。 走完拦截器以后，要走Cha

Fluem事务 Fluem本身对数据的采集传输，是非常安全了，两个事务保证了Flume通常情况下，不会丢失数据。如果使用的Channel Mmemory, 可能对造成数据丢失，如果是使用的 Channel File还是非常安全的。 数据库事务 1.事务：一组逻辑操作单元**,**使数据从一种状态变换到另一种状态 2.事务处理（事务操作）：保证所有事务都作为一个工作单元来执行，即使出现了故障，都不能改变这种执行方式。当在一个事务中执行多个操作时，要么所有的事务都被提交(commit)，那么这些修改就永久地保

Flume的写法 1.配置文件 现在我们明白了，Flume就是用来采集数据，Source将采集的数据封装成一个个的事件event对象进行传输，这些事件首先缓存在Channel中(Channel Memory, Channel File) 两种Channel的方式，然后Sink从Channel中主动拉取数据，并将数据发送到指定的位置(可以是HDFS, Kafka…)。 所以，我们怎么写一个Flume呢，也就是数据采集。其实就是一个配置文件，我们需要考虑的四个东西也就是flume基本组成架构。Agent，Sou

Flume简介 1.Flume的定义 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 所以通常flume用来数据的采集，并且把采集来的数据传输到hdfs，或者kafka，这个数据可以从服务器本地磁盘文件夹采集或者网络端口数据。 Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HFDS 2.Flume基础架构 Flume组成架构有四个：Source，Channel，Sink，Agent 1.Agen