zookeeper+kafka安装配置并运行

本文详细介绍了如何从零开始部署Kafka和Zookeeper,包括下载安装包、配置环境、启动服务、创建主题以及消息的生产和消费流程,是初学者入门Kafka集群搭建的实用教程。

1.下载kafka和zookeeper的tgz包

解压命令

tar -zxf filename.tgz

 移动到/usr/local

#mv filename path
#我这边是
mv kafka /usr/local
mv zookeeper /usr/local

2.查看主机名

hostname

3.使用命令增加zookeeper节点的IP

vi /etc/hosts

按i键进入编辑模式,添加红色部分内容

 4.配置zookeeper

a.在zookeeper下创建data和logs目录

mkdir -p /usr/local/zookeeper/data
mkdir -p /usr/local/zookeeper/logs

b.在zookeeper的data目录下创建文件myid,并在文件中写入1,使用以下命令

echo 1 > myid

 c.编辑zookeeper/conf/zoo.cfg

vi /usr/local/zookeeper/conf/zoo.cfg

zookeeper配置完成

5.配置kafka

a.编辑kafka/config目录下的server.properties

vi /usr/local/kafka/config/server.properties

 

kafka配置完成

6.启动zookeeper

启动命令

/usr/local/zookeeper/bin/zkServer.sh start

查看运行状态

/usr/local/zookeeper/bin/zkServer.sh status

下图表示启动成功

 

7.启动kafka

启动命令

/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties

下图为启动成功

 8.创建topic,生产者发送信息,消费者接受信息

再次之前,我们重新打开一个终端,让运行着kafka的终端先跑着吧~

a.创建一个新的topic 名为test3(不要纠结为什么是test3,因为我创了test1,test2都失败了,还没来得及删)

/usr/local/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.87.134:2181 -replication-factor 1 --partitions 1 --topic test3

b.查看会话列表,显示以下信息(不包含test和test1)为成功创建会话。

/usr/local/kafka/bin/kafka-topics.sh --list --zookeper 192.168.87.134:2181

查看test3状态

/usr/local/kafka/bin/kafka-topics.sh --zookeeper 192.168.87.134:2181 --describe --topic test3

c.生成生产者发送消息

 /usr/local/kafka/bin/kafka-console-producer.sh --broker-list 192.168.87.134:9092 --topic test3

d.生成消费者接受消息

/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server 192.168.87.134:9092 --from-beginning --topic test3

消费者接受到的信息

 

 

 

9.删除topic命令,以下命令为删除topic3

/usr/local/kafka/bin/kafka-topics.sh --delete --zookeeper 192.168.87.134:2181 --topic test3

 

好的,以下是一个基本的在k8s上部署zookeeper + kafka集群的配置教程: 1. 创建一个namespace 首先,我们需要创建一个namespace,用于部署zookeeperkafka集群。可以使用以下命令创建一个名为“zookeeper-kafka”的namespace: ``` kubectl create namespace zookeeper-kafka ``` 2. 部署Zookeeper 接下来,我们需要部署Zookeeper。可以使用以下YAML文件创建一个Zookeeper服务: ``` apiVersion: v1 kind: Service metadata: name: zookeeper spec: selector: app: zookeeper ports: - name: client port: 2181 protocol: TCP - name: follower port: 2888 protocol: TCP - name: leader port: 3888 protocol: TCP --- apiVersion: apps/v1 kind: StatefulSet metadata: name: zookeeper spec: serviceName: zookeeper replicas: 3 selector: matchLabels: app: zookeeper template: metadata: labels: app: zookeeper spec: containers: - name: zookeeper image: zookeeper:3.5.8 ports: - name: client containerPort: 2181 - name: follower containerPort: 2888 - name: leader containerPort: 3888 volumeMounts: - name: datadir mountPath: /data env: - name: ZOO_MY_ID valueFrom: fieldRef: fieldPath: metadata.name - name: ZOO_SERVERS value: zookeeper-0.zookeeper:2888:3888,zookeeper-1.zookeeper:2888:3888,zookeeper-2.zookeeper:2888:3888 volumeClaimTemplates: - metadata: name: datadir spec: accessModes: - ReadWriteOnce resources: requests: storage: 1Gi ``` 这将创建一个3个Pod的Zookeeper StatefulSet,创建一个名为“zookeeper”的Service,暴露Zookeeper的客户端端口2181,follower端口2888和leader端口3888。 3. 部署Kafka 现在,我们可以部署Kafka。以下是一个Kafka部署的YAML文件示例: ``` apiVersion: v1 kind: Service metadata: name: kafka spec: type: NodePort selector: app: kafka ports: - name: kafka port: 9092 nodePort: 30092 protocol: TCP --- apiVersion: apps/v1 kind: StatefulSet metadata: name: kafka spec: serviceName: kafka replicas: 3 selector: matchLabels: app: kafka template: metadata: labels: app: kafka spec: containers: - name: kafka image: wurstmeister/kafka:2.13-2.7.0 ports: - name: kafka containerPort: 9092 env: - name: KAFKA_BROKER_ID valueFrom: fieldRef: fieldPath: metadata.name - name: KAFKA_ZOOKEEPER_CONNECT value: zookeeper-0.zookeeper:2181,zookeeper-1.zookeeper:2181,zookeeper-2.zookeeper:2181 - name: KAFKA_ADVERTISED_LISTENERS value: PLAINTEXT://$(hostname -f):9092 - name: KAFKA_LISTENERS value: PLAINTEXT://0.0.0.0:9092 - name: KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR value: "3" volumeMounts: - name: datadir mountPath: /data volumeClaimTemplates: - metadata: name: datadir spec: accessModes: - ReadWriteOnce resources: requests: storage: 1Gi ``` 这将创建一个3个Pod的Kafka StatefulSet和一个名为“kafka”的Service,它将Kafka的9092端口暴露为NodePort 30092。 4. 验证部署 现在,您可以使用以下命令检查ZookeeperKafka是否正在运行: ``` kubectl get pods -n zookeeper-kafka ``` 您应该看到3个Zookeeper和3个Kafka Pod处于“Running”状态。 接下来,您可以使用以下命令检查Kafka是否正在监听端口30092(或您自己选择的端口): ``` kubectl get services -n zookeeper-kafka ``` 您应该看到一个名为“kafka”的service,它将Kafka的9092端口暴露为30092端口。可以使用此端口测试Kafka是否正常运行。 至此,您已经成功地在k8s上部署了zookeeper + kafka集群。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值