shyming's blog

flume架构与运行机制1.Flume的三层架构2.flume运行机制3.flume的事务 1.Flume的三层架构 Flume采用了三层架构，分别为agent，collector和storage，每一层均可以水平扩展。其中，所有agent和collector由master统一管理，这使得系统容易监控和维护，且master允许有多个（使用ZooKeeper进行管理和负载均衡），这就避免了单点故障问题。 1）Agent层：这一层包含了Flume的Agent组件，与需要传输数据的数据源连接在一起 2）Colle

Flume事务概念 Flume在处理数据的时候，涉及到数据流动的有两个地方。一个是Source向Channel中放数据的时候，涉及到一个数据的发送（put事务）。还一个是Sink从Channel中拉取数据，也涉及到一个数据的发送。当涉及到数据的批量操作时，就会通过事务来保证数据的一致性和完整性。 我们都知道Flume是一个日志文件传输的工具，传输过程会经过三大步骤： 1.通过source 把数据从数据源（网络端口，本地磁盘等）读出出来 2.通过source把数据传入到channel里面 3.再把数据从cha

flume的安装及使用1.解压2.编辑环境变量3.flume-env.sh4.采集方案、启动4.1采集方案1及启动4.2采集方案2及启动 1.解压 sudo scp hdfs@192.168.157.128:/mnt/hgfs/自学包/flume/apache-flume-1.9.0-bin.tar.gz . sudo chmod 777 apache-flume-1.9.0-bin.tar.gz sudo tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /home