Java配置41-搭建Kafka服务器

原创已于 2022-08-30 11:16:13 修改 · 1.4k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#Java #Java配置 #kafka

于 2022-08-30 11:14:42 首次发布

Java配置专栏收录该内容

51 篇文章

订阅专栏

本文详细介绍了如何在Red Hat Enterprise Linux Server 6.8环境下安装和配置Kafka消息队列系统，包括上传安装介质、解压安装、配置文件修改、启动ZooKeeper及Kafka服务等步骤，并提供了创建Topic、生产者和消费者的测试方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.服务器环境

系统版本：Red Hat Enterprise Linux Server release 6.8

2.安装kafka

1）上传安装介质

kafka官网：https://kafka.apache.org/

2）解压安装

解压命令：

sudo tar -xzvf kafka_2.12-1.1.0.tgz

3）修改配置文件

解压完成后，进入解压后的目录。

cd kafka_2.12-1.1.0

切至config

cd config

修改前备份

sudo cp server.properties server.properties.20182728.bak

修改文件

sudo vim server.properties

修改zookeeper.connect

Zookeeper默认的端口号是2181，这里填写本机IP加2181端口即可。

然后，再增加以下几行：

#kafka端口

port=9092

#kafka主机名

host.name=ip（注意修改）

listeners=PLAINTEXT://ip:9092

advertised.listeners=PLAINTEXT://ip:9092

备注：listeners一定要配置成为IP地址；如果配置为localhost或服务器的hostname,在使用java发送数据时就会抛出异常：org.apache.kafka.common.errors.TimeoutException: Batch Expired 。因为在没有配置advertised.host.name 的情况下，Kafka并没有像官方文档宣称的那样改为广播我们配置的host.name，而是广播了主机配置的hostname。远端的客户端并没有配置 hosts，所以自然是连接不上这个hostname的

4）启动zookeeper

本版本的kafka集成了zookeeper，所以不需要另外安装了。

切至kafka安装目录，执行命令

sudo bin/zookeeper-server-start.sh config/zookeeper.properties &

5）启动kafka

切至kafka安装目录

执行命令：

sudo bin/kafka-server-start.sh config/server.properties 1>/dev/null 2>&1 &

6）测试

创建topic

切至kafka安装目录，执行命令：

sudo bin/kafka-topics.sh --create --replication-factor 1 --partitions 1 --zookeeper ip（注意修改）:2181 --topic test

查看创建的topic，命令：

sudo bin/kafka-topics.sh --list --zookeeper ip（注意修改）:2181

创建生产者

sudo bin/kafka-console-producer.sh --broker-list ip（注意修改）:9092 --topic test

创建消费者

执行命令：

sudo bin/kafka-console-consumer.sh --bootstrap-server ip（注意修改）:9092 --topic test --from-beginning

可以得到生产者发送的消息

低版本的kafka创建消费者的命令：

sudo bin/kafka-console-consumer.sh --zookeeper ip（注意修改）:2181 --topic test --from-beginning