kafka安装配置

目录

一、kafka简介 

二、kafk优点

三、kafka下载

四、kafka集群搭建

五、配置环境变量

六、kafka集群及脚本

​编辑​编辑

​编辑

七、验证kafka与flume通道

1、flume组件选择

（1）Taildir Source相比Exec Source、Spooling Directory Source的优势

（2）batchSize大小如何设置？

（3）Channel

2、flume~kafka流程解析

 八、kafka压测

---

一、kafka简介 

        Kafka是一种消息队列，主要用来处理大量数据状态下的消息队列，一般用来做日志的处理。既然是消息队列，那么Kafka也就拥有消息队列的相应的特性了。

二、kafk优点

1. 解耦合：耦合的状态指的是当你实现某个功能的时，直接接入当前接口，然后利用消息队列，可以将相应的消息发送到消息队列，这样的话，如果接口出了问题，将不会影响到当前的功能。
2. 异步处理：异步处理替代了之前的同步处理，异步处理不需要让流程走完就返回结果，可以将消息发送到消息队列中，然后返回结果，剩下让其他业务处理接口从消息队列中拉取消费处理即可。
3. 流量削峰：当数据量非常大的时候，使用消息队列作为中间连接件可以将流量的高峰保存在消息队列中，从而防止了系统的高请求，减轻服务器的请求处理压力。

三、kafka下载

kafka阿里云镜像站：apache-kafka安装包下载_开源镜像站-阿里云

四、kafka集群搭建

#解压kafka安装包

tar -xf kafka_2.12-3.5.1.tgz -C ../module

#修改名字

mv kafka_2.12-3.5.1/ kafka

#进入kafka，创建存放日志的文件夹

mkdir logs

#进入config

cd config/

#编辑server.properties

vim server.properties

#broker的全局唯一编号，不能重复，每台主机编号不一样

broker.id=0

#删除topic功能使能

delete.topic.enable=true

#处理网络请求的线程数量

num.network.threads=3

#用来处理磁盘IO的现成数量

num.io.threads=8

#发送套接字的缓冲区大小

socket.send.buffer.bytes=102400

#接收套接字的缓冲区大小

socket.receive.buffer.bytes=102400

#请求套接字的缓冲区大小

socket.request.max.bytes=104857600

#kafka运行日志存放的路径

log.dirs=/opt/module/kafka/logs

#topic在当前broker上的分区个数

num.partitions=1

#用来恢复和清理data下数据的线程数量

num.recovery.threads.per.data.dir=1

#segment文件保留的最长时间，超时将被删除

log.retention.hours=168

#配置连接Zookeeper集群地址zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka