Nurbiya_K的博客

我们都知道Flume是一个日志文件传输的工具，传输过程会经过三大步骤：1.通过source 把数据从数据源（网络端口，本地磁盘等）读出出来2.通过source把数据传入到channel里面3.再把数据从channel传输到sink里面，sink把数据传给目的地（hdfs）.当然传输数据的过程并不是只有这三个步骤，flume 竟然是传输数据的，所以得考虑到数据传输时数据的完整性 . Flu...

1.如何实现Flume 数据传输的监控的？答：使用第三方框架ganglia ,http等实时监控Flume2.Flume的source，sink,channel 的作用？source 有什么类型？答：作用：（1）source 组件是专门用来收集数据的，可以处理各种类，各种格式的日志数据，包括avro,exec，netcat,http。（2）channel 组件对采集到的数据进行缓存，可...

学习flume的时候可能会想到明明有MySQL为什么还要用flume，下面来解释一下两者区别：Flume就是传输数据Java 后台处理复杂的业务逻辑，大数据是处理海量数据，所以不可能把大数据放在后台服务器，不然会拖垮整个后台服务器。（服务器崩了，浏览器会崩）所以大数据一般都是远程传过来的。比如购买商品时的数据，从另外一台服务器读取过来订单，支付记录会落入mysql里面，这种用户购买商品时浏...

（1）本地产生数据到Kafkajava -classpath log-collector-1.0-SNAPSHOT-jar-with-dependencies.jar com.smalltiger.appclient.AppMain >/opt/module/test.log（2）将Kafka里面的数据上传到hdfs上nohup /opt/module/flume/bin/flum...