Spark大数据分与实践笔记（第六章 Kafka分布式发布订阅消息系统-02）

最新推荐文章于 2023-06-08 15:50:42 发布

妉妉师姐

最新推荐文章于 2023-06-08 15:50:42 发布

阅读量370

点赞数

分类专栏：大数据-linux-spark 文章标签：大数据 kafka spark

本文链接：https://blog.youkuaiyun.com/Lydia868/article/details/126427714

版权

本文详细介绍了如何部署和测试Kafka集群，包括下载安装包、修改配置文件、设置环境变量和分发文件。重点讲解了配置文件中关键参数的作用，如broker.id、log.dirs、zookeeper.connect等，并强调了启动Zookeeper服务和Kafka服务的步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

第六章 Kafka分布式发布订阅消息系统

6.3 Kafka 集群部署与测试

6.3.1 安装Kafka

Kafka集群部署依赖于Java环境和Zookeeper服务，在本书第二章搭建Spark HA小节，我们已经完成了上述环境和Zookeeper集群的配置。下面通过4个步骤讲解Kafka集群的安装流程。

6.3.1.1 下载、解压安装包

Kafka集群安装很简单，访问Kafka 官方网站http://kafka.apache.org/downloads.html下载安装包，由于后续章节会与Spark框架整合使用，因此在选择Kafka的版本时要与Scala版本保持一致，本书选择当前最新稳定版本kafka_2.11-2.0.0.tgz 。
下载完成后，将安装包上传至hadoop01节点中的/export/software目录下，使用以下命令解压安装包:

tar -zxvf kafka_2.11-2.0.0.tgz -C /export/servers/

6.3.1.2 修改配置文件。

进入Kafka文件夹下的/export/servers/kafka_2.11-2.0.0/config目录,修改server.properties配置文件(vi server.properties), 修改后的内容如文件所示。
文件6-1 server.properties

#broker的全局唯一编号， 不能重复
broker.id=0
#用来监听链接的端口，producer或consumer将在此端 ]建立连接
por t=9092
#处理网络请求的线程数量
num. network.threads=3
#用来处理磁盘I0的现成数量
num.io.threads

最低0.47元/天解锁文章