kafka介绍以及安装

kafka是什么？

我们在学习一个东西之前，首先要知道它是什么，有什么用，怎么用，只有知道了这三点以后，我们学习起来目的性更强，学习的效果也会更好
1.作用：在流式计算中，kafka用来缓存数据，storm通过消费kafka的数据进行计算
2.kafka是一个分布式消息队列。kafka对消息保存时根据Topic（队列）进行归类，发送消息者称为Producer,消息接受者称为Consumer，也叫生产者和消费者
3.kafka依赖于zookeeper集群保存meta信息，所以在安装kafka之前要先安装zookeeper

分布式模型

kafka每个主题的多个分区日志分布式的存储在kafka集群上，同时为了故障容错，每个分区都会以副本的方式复制到多个消息代理节点上。其中一个节点会作为主副本（leader），其他节点作为备份副本（follower）。主副本会负责所有的客户端读写操作，备份副本仅仅从主副本同步数据。当主副本出现故障时，从副本中的一个副本会被选择为新的主副本。因为每个分区的副本中只有主副本能读写，所以每个服务器端都会作为某些分区的主副本，以及另外一些分区的备份副本，这样kafka集群的所有服务端整体上对客户端是负载均衡的

kafka的集群部署

环境准备
首先要安装jdk，安装zookeeper集群，才能安装kafka集群，kafkajar包下载
虚拟机准备
1.准备虚拟机
2.配置IP地址
3.配置主机名
4.关闭防火墙：chkconfig iptables off,这个是永久关闭防火墙，也就是关机不自启动。临时关闭防火墙：service iptables stop，这种关闭防火墙在虚拟机关机或者重启后防火墙还会自动开启。查看防火墙状态：service iptables status

kafka集群部署

1.解压安装包：tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module/
2.修改解压后的文件名称： mv kafka_2.11-0.11.0.0/ kafka
3.在/opt/module/kafka目录下创建logs文件夹： mkdir logs
4.修改配置文件：cd config/
vi server.properties
输入一下内容：#broker的全局唯一编号，不能重复
broker.id=0
#是否允许删除topic
delete.topic.enable=true
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的线程数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的最大缓冲区大小
socket.request.max.bytes=104857600
#kafka运行日志存放的路径
log.dirs=/opt/module/kafka/logs
#topic在当前broker上的分区个数
num.partitions=1
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment文件保留的最长时间，超时将被删除
log.retention.hours=168
#配置连接Zookeeper集群地址
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181
5.配置环境变量：vi /etc/profile
#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin
6.分发安装包
xsync profile
xsync kafka（注意：xsync是自己编写的shell同步脚本，如果没有，要先编写）
7.分别在hadoop103和hadoop104上修改配置文件/opt/module/kafka/config/server.properties中的broker.id=1、broker.id=2
注：broker.id不得重复
8.在每台虚拟机上启动集群：bin/kafka-server-start.sh config/server.properties &
9.关闭集群：bin/kafka-server-stop.sh stop