Kafka 安装配置及快速入门

最新推荐文章于 2025-05-21 15:24:48 发布

weixin_34007291

最新推荐文章于 2025-05-21 15:24:48 发布

阅读量791

点赞数

CC 4.0 BY-SA版权

文章标签：大数据 python java

原文链接：https://my.oschina.net/gibbons/blog/2999444

本文详细介绍Apache Kafka的安装配置及基本操作流程，包括下载、安装、启动ZooKeeper和Kafka服务，创建Topic，以及如何启动消费者和生产者进行消息传递。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2019独角兽企业重金招聘Python工程师标准>>>

一、简介

官网：http://kafka.apache.org/

Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。

Apache Kafka与传统消息系统相比，有以下不同：

它被设计为一个分布式系统，易于向外扩展；
它同时为发布和订阅提供高吞吐量；
它支持多订阅者，当失败时能自动平衡消费者；
它将消息持久化到磁盘，因此可用于批量消费，例如ETL，以及实时应用程序。

二、安装

下载地址：wget http://mirrors.shuosc.org/apache/kafka/1.0.2/kafka_2.11-1.0.2.tgz

解压：tar -zxvf kafka_2.11-1.0.2.tgz

cd kafka_2.11-1.0.2

三、启动服务器

1、启动ZooKeeper
Kafka使用ZooKeeper，所以您需要先启动一个ZooKeeper服务器，如果您还没有。您可以使用随Kafka一起打包的便捷脚本来获取一个快速但是比较粗糙的单节点ZooKeeper实例。

启动命令：bin/zookeeper-server-start.sh config/zookeeper.properties

这个 zookeeper中主要就3个配置：

        # the directory where the snapshot is stored.
        dataDir=/tmp/zookeeper
        # the port at which the clients will connect
        clientPort=2181
        # disable the per-ip limit on the number of connections since this is a non-production config
        maxClientCnxns=0

我们需要记住zookeeper的端口 2181，在后面会用到。

2、Kafka基本配置
Kafka在config目录下提供了一个基本的配置文件。为了保证可以远程访问Kafka，我们需要修改两处配置。

打开config/server.properties文件，在很靠前的位置有listeners和 advertised.listeners两处配置的注释，去掉这两个注释，并且根据当前服务器的IP修改如下：

        # The address the socket server listens on. It will get the value returned from
        # java.net.InetAddress.getCanonicalHostName() if not configured.
        # FORMAT:
        # listeners = listener_name://host_name:port
        # EXAMPLE:
        # listeners = PLAINTEXT://your.host.name:9092
        listeners=PLAINTEXT://:9092

        # Hostname and port the broker will advertise to producers and consumers. If not set,
        # it uses the value for "listeners" if configured. Otherwise, it will use the value
        # returned from java.net.InetAddress.getCanonicalHostName().
        advertised.listeners=PLAINTEXT://192.168.163.10:9092

当前服务器IP为192.168.163.10，你需要修改为外网或局域网可以访问到的服务器IP。

3、启动Kafka

接下来启动Kafka服务：

启动命令：bin/kafka-server-start.sh config/server.properties

4、创建 Topic

使用下面的命令创建 Topic。

命令：bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

5、启动一个消费者

在一个新的终端执行下面的命令。

命令：bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

6、启动生产者

命令：bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test