Kafka初识

最新推荐文章于 2024-09-05 11:48:50 发布

原创最新推荐文章于 2024-09-05 11:48:50 发布 · 219 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Hadoop #Kafka

一、Kafka概述

1.1、定义

Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。

1.2、消息队列

1.2.1、消息度队列的两种模式

（1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）

消息生产者生产消息发送到Queue中，然后消息消费者从Queue中取出并且消费消息。

消息被消费以后，queue中不再有存储，所以消息消费者不可能消费到已经被消费的消息。Queue支持存在多个消费者，但是对一个消息而言，

只会有一个消费者可以消费。

（2）发布/订阅模式（一对多，消费者消费数据之后不会清除消息）

消息生产者（发布）将消息发布到topic中，同时有多个消息消费者（订阅）消费该消息。和点对点方式不同，发布到topic的消息会被

所有订阅者消费。

1.3、Kafka基础架构

（1）为方便扩展，并提高吞吐量，一个topic分为多个partition

（2）为配合分区的设计，提出消费者组的概念，组内每个消费者并行消费。一个分区只能被一个消费者组内的一个消费者消费，因此消费者的数量小于等于分区个数。

（3）为提高可用性，为每个partition增加若干副本，类似NameNode HA

二、Kafka快速入门

2.1、安装部署

配置config中的server.properties

#broker的全局唯一编号，不能重复

broker.id=101

#删除topic功能使能

delete.topic.enable=true

#处理网络请求的线程数量

num.network.threads=3

#用来处理磁盘IO的现成数量

num.io.threads=8

#发送套接字的缓冲区大小

socket.send.buffer.bytes=102400

#接收套接字的缓冲区大小

socket.receive.buffer.bytes=102400

#请求套接字的缓冲区大小

socket.request.max.bytes=104857600

#kafka运行日志存放的路径    

log.dirs=/opt/module/kafka/logs

#topic在当前broker上的分区个数

num.partitions=1

#用来恢复和清理data下数据的线程数量

num.recovery.threads.per.data.dir=1

#segment文件保留的最长时间，超时将被删除

log.retention.hours=168

#配置连接Zookeeper集群地址

zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop101:2181

然后在配置下环境，方便后面使用

配置后之后，就将我们的Kafka分发到其他的服务器，分发完之后，修改每一个机器的brokerr.id为102,103，随后，先启动Zookeeper,在启动Kafka

Kafka群起与群关

for i in `cat /opt/module/hadoop-2.7.2/etc/hadoop/slaves`

do

echo "========== $i Kafka started =========="

ssh $i 'source /etc/profile&&/opt/module/kafka_2.11-0.11.0.2/bin/kafka-server-start.sh -daemon /opt/module/kafka_2.11-0.11.0.2/config/server.properties'

echo $?

done



for i in `cat /opt/module/hadoop-2.7.2/etc/hadoop/slaves`

do

echo "========== $i Kafka stoped=========="

ssh $i 'source /etc/profile&&/opt/module/kafka_2.11-0.11.0.2/bin/kafka-server-stop.sh'

echo $?

done

2.2、Kafka命令行操作

1）查看当前服务器中的所有的topic

 kafka-topics.sh --zookeeper hadoop101:2181 --list

2）创建topic:--topic 定义topic的名字，--replication-factor：定义副本数；--partitions：定义分区数

kafka-topics.sh --zookeeper hadoop102:2181 --create --replication-factor 3 --partitions 1 --topic first

3）删除topic

 kafka-topics.sh --zookeeper hadoop101:2181 --delete --topic first

需要server.properties中设置delete.topic.enable=true否则只是标记删除。

4）发送消息

kafka-console-producer.sh --broker-list hadoop102:9092 --topic first
>

5）消费消息

 kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --from-beginning --topic first

--from-beginning：会把主题中以往所有的数据都读取出来。

6）查看某个Topic的详情

kafka-topics.sh --zookeeper hadoop102:2181 --describe --topic first

7）修改分区数（只能改大，不能改小）

 kafka-topics.sh --zookeeper hadoop102:2181 --alter --topic first --partitions 6

三、总结

入门的就到此。其实Kafka入门很简单，他其实就是一个消息队列，里面的消息是以topic进行分类的，生产者生产消息，消费者消费消息，都是面向topic的。