第一次写博客,不知到如何写好这篇博客,有不足和错误的地方希望多多指出,共同交流进步。下面就开始说一说我所了解的FLUME这个框架,FLUME是个数据采集框架。当然,先要了解数据的来源有哪些,才能知道FLUME是如何来采集数据的。好,下面我们就先来看看数据的来源有哪些:
有web服务器产生的log日志文件,例如tomcat服务器、nginx服务器、iis服务器、apache服务器等
网络端口数据
消息队列数据
当然FLUME不但能的采集数据,还可以聚合和传输数据的一个高可用、高可靠的,并且是分布式系统
FLUME收集到的数据可以发送到hdfs上、Hbase上、hive上、网络端口、消息队列等
FLUME的采集过程就是将数据封装到event来进行传输的。
event是数据FLUME_NG数据传输的基本单位。
由于采集数据的方式不同,所以在FLUME_NG中采集数据的过程由用户开发agent来直接指定
flume简单认识
最新推荐文章于 2024-07-01 13:05:14 发布