maka_uir的博客

Flume是一个分布式的、可靠的日志收集、聚合、传输系统，简单来说就是将文件从A地点移动到B地点。Flume可以收集包含文件、Socket数据包等各种形式的数据，并且能够存储到HDFS、Hbase、Hive等。因此Flume的最大特点是具有很高的兼容性和自定义扩展能力。其核心为Agent，包含三个组件，Source、Sink等Source:采集源，用于同数据源对接 Channel通道，用于内部的数据传输，从Source到Sink Sink目标池，采集数据传输的目的地。Kafka.

参考文章链接：https://zhuanlan.zhihu.com/p/68052232本文主要总结kafka的各项特点，用于辅助对该消息中间件的理解。图中各项元素的含义：Producer生产者，可以有多个生产者，作为消息的来源。Broker实例，即kafka的实例，每一个Broker可以看作一个服务器，或者一个虚拟机，或者伪集群中的一个。Topic主题，为消息的分类，可以有多个消息主题。Partition分区，作用是负载，提高kafka的吞吐量，同一个Topic在不同的分区的数

Kafka Ubuntu16.04.1 环境搭建过程记录本文记录kafka环境搭建过程，用于前端展示用数据存储以及消费。1、首先查看系统环境内是否存在java环境，如果没有java环境，安装java环境即可，由于本人系统已安装好，所以不在展示安装过程。2、在opt文件夹下新建目录zookeeper、kafka,可能需要root权限。mkdir -p /opt/zookeepermkdir -p /opt/kafka3、下载zookeeper、kafka安装包，从阿里云镜像下载