02-10版本kafka安装部署

最新推荐文章于 2024-07-24 00:09:45 发布

Master的救赎

最新推荐文章于 2024-07-24 00:09:45 发布

阅读量320

点赞数

CC 4.0 BY-SA版权

分类专栏： kettle 文章标签： hadoop kafka 单节点

本文链接：https://blog.youkuaiyun.com/Master_MC/article/details/77334820

1 篇文章

订阅专栏

本文详细介绍了如何安装和配置Zookeeper 3.4.10及Kafka 2.11-0.10.1.0版本。包括环境变量设置、配置文件调整、启动命令等内容，并提供了简单的测试流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

安装zookeeper

安装版本：3.4.10

安装步骤：

1、直接解压：

tar –zvxf zookeeper-3.4.10.tar.gz

2、解压完成后，重命名（方便使用）：

mv zookeeper-3.4.10 zookeeper/

3、更改环境变量：

vi /etc/profile  (添加以下信息)

export ZK_HOME=/usr/local/zookeeper

export PATH=$ZK_HOME/bin:$PATH

source /etc/profile

4、在目录下添加以下文件夹：

cd /usr/local/zookeeper

 mkdir data

 mkdir log

5、在data目录下创建文件，命名为myid并写入1：

vi /usr/local/zookeeper/data/myid

写入1后保存退出

6、更改配置信息：

cd /usr/local/zookeeper/conf

将文件中的zoo_sample.cfg进行拷贝并重命名：

cp zoo_sample.cfg zoo.cfg

修改zoo.cfg中的配置信息：

vi zoo.cfg

dataDir=/usr/local/zookeeper/data

dataLogDir=/usr/local/zookeeper/log

tickTime=2000

initLimit=5

syncLimit=2

server1=192.168.59.130:2888:3888 

7、zookeeper的启动与关闭：

开启命令：zkServer.sh start

关闭命令：zkServer.sh stop

开启后通过 jps查看，若有QuorumPeerMain,说明启动成功

安装kafka

安装版本：2.11-0.10.1.0

安装步骤：

1、直接解压：

tar –zxvf kafka_2.11-0.10.1.0.tgz

解压完成后，重命名（方便使用）：mv kafka_2.11-0.10.1.0 kafka

2、更改环境变量：

vi /etc/profile  (添加以下信息)

export KAFKA_HOME=/usr/local/kafka

export PATH=$KAFKA_HOME/bin:$PATH

source /etc/profile

3、在目录下添加以下文件夹：

mkdir /usr/local/kafka/logs

4、更改配置信息：

cd /usr/local/kafka/config

修改server.properties中的配置信息：

vi server.properties

broker.id=1

listeners=PLAINTEXT://192.168.59.130:9092

advertised.listeners=PLAINTEXT://192.168.59.130:9092

log.dirs=/usr/local/kafka/logs

zookeeper.connect=192.168.59.130:2181

5、修改producer.properties配置信息

vi producer.properties

metadata.broker.list=192.168.59.130:9092

6、修改consumer.properties配置信息：

vi consumer.properties

zookeeper.connect=192.168.59.130:2181

7、kafka启动执行命令：

开启命令：kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties

开启后通过 jps查看，若有Kafka说明启动成功

8、测试

创建topic:kafka-topic.sh --creat --zookeeper 192.168.59.130:2181

--replication-factor 1 --partitions 1 –-topic test

查看topic: kafka-topic.sh --list --zookeeper 192.168.59.130:2181

创建消费者： kafka-console-producer.sh --broker-list 192.168.59.130:9092                                 --topic test

创建消费者： kafka-console-consumer.sh --zookeeper 192.168.59.130:2181

                 --topic test --from-beginning