kafka单机

 Kafka安装与使用

 

2.1.       下载

  你可以在kafka官网 http://kafka.apache.org/downloads下载到最新的kafka安装包,选择下载二进制版本的tgz文件,根据网络状态可能需要fq,这里我们选择的版本是0.11.0.1,目前的最新版

 

2.2.       安装

  Kafka是使用scala编写的运行与jvm虚拟机上的程序,虽然也可以在windows上使用,但是kafka基本上是运行在linux服务器上,因此我们这里也使用linux来开始今天的实战。

  首先确保你的机器上安装了jdk,kafka需要java运行环境,以前的kafka还需要zookeeper,新版的kafka已经内置了一个zookeeper环境,所以我们可以直接使用

  说是安装,如果只需要进行最简单的尝试的话我们只需要解压到任意目录即可,这里我们将kafka压缩包解压到/home目录

 

2.3.       配置

  在kafka解压目录下下有一个config的文件夹,里面放置的是我们的配置文件

  consumer.properites 消费者配置,这个配置文件用于配置于2.5节中开启的消费者,此处我们使用默认的即可

  producer.properties 生产者配置,这个配置文件用于配置于2.5节中开启的生产者,此处我们使用默认的即可

  server.properties kafka服务器的配置,此配置文件用来配置kafka服务器,目前仅介绍几个最基础的配置

    1. broker.id 申明当前kafka服务器在集群中的唯一ID,需配置为integer,并且集群中的每一个kafka服务器的id都应是唯一的,我们这里采用默认配置即可
    2. listeners 申明此kafka服务器需要监听的端口号,如果是在本机上跑虚拟机运行可以不用配置本项,默认会使用localhost的地址,如果是在远程服务器上运行则必须配置,例如:

          listeners=PLAINTEXT:// 192.168.180.128:9092。并确保服务器的9092端口能够访问

      3.zookeeper.connect 申明kafka所连接的zookeeper的地址 ,需配置为zookeeper的地址,由于本次使用的是kafka高版本中自带zookeeper,使用默认配置即可

          zookeeper.connect=localhost:2181

2.4.       运行

  1. 启动zookeeper

cd进入kafka解压目录,输入

bin/zookeeper-server-start.sh config/zookeeper.properties

启动zookeeper成功后会看到如下的输出

    2.启动kafka

cd进入kafka解压目录,输入

bin/kafka-server-start.sh config/server.properties

启动kafka成功后会看到如下的输出

 

2.5.       第一个消息

   2.5.1   创建一个topic

    Kafka通过topic对同一类的数据进行管理,同一类的数据使用同一个topic可以在处理数据时更加的便捷

    在kafka解压目录打开终端,输入

    bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

    创建一个名为test的topic

 

         在创建topic后可以通过输入

            bin/kafka-topics.sh --list --zookeeper localhost:2181

   来查看已经创建的topic

  2.4.2   创建一个消息消费者

   在kafka解压目录打开终端,输入

    bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

   可以创建一个用于消费topic为test的消费者

 

 

         消费者创建完成之后,因为还没有发送任何数据,因此这里在执行后没有打印出任何数据

         不过别着急,不要关闭这个终端,打开一个新的终端,接下来我们创建第一个消息生产者

  2.4.3         创建一个消息生产者

    在kafka解压目录打开一个新的终端,输入

    bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

    在执行完毕后会进入的编辑器页面

 

在发送完消息之后,可以回到我们的消息消费者终端中,可以看到,终端中已经打印出了我们刚才发送的消息

 

### Kafka 单机部署与使用教程 #### 配置 Zookeeper 尽管 Kafka 自带了一个嵌入式的 Zookeeper 实现,但在单机环境下仍然推荐单独配置并运行 Zookeeper。这有助于更好地理解分布式系统的架构设计[^1]。 编辑 `kafka_2.12-2.5.0/config/zookeeper.properties` 文件来设置 Zookeeper 的基本参数。默认情况下,Zookeeper 将数据存储在 `/tmp/zookeeper` 路径下。如果希望更改此路径,则可以修改以下属性: ```properties dataDir=/path/to/your/custom/directory clientPort=2181 tickTime=2000 initLimit=5 syncLimit=2 ``` 启动 Zookeeper 使用如下命令: ```bash bin/zookeeper-server-start.sh config/zookeeper.properties ``` #### 配置 Kafka Server 接下来需要调整 Kafka Broker 的配置文件 `server.properties` 来适配单机环境的需求。以下是几个重要的配置项及其说明: - **broker.id**: 设置唯一的 broker ID,默认为 0,在单机环境中无需特别关注。 - **listeners**: 定义客户端连接到该 broker 所使用的协议和地址。例如:`PLAINTEXT://localhost:9092` - **log.dirs**: 日志文件的存储位置。建议指定一个持久化的目录而非临时目录。 完成上述修改后保存文件,并通过下面的指令启动 Kafka server: ```bash bin/kafka-server-start.sh config/server.properties & ``` #### 创建 Topic 一旦服务器成功启动,就可以利用 kafka-topics 工具创建 topic。按照给定的例子操作即可建立名为 "test" 的主题[^2]: ```bash sh bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test ``` 注意这里指定了 replication factor 和 partition 数量都为 1,这是为了简化演示过程;实际生产场景中应依据业务需求合理规划这些数值。 #### 发送消息至 Topic 要向刚才创建的主题发送消息,执行 producer 命令行工具: ```bash sh bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test ``` 此时终端会等待输入内容作为待发的消息体。每条新信息按回车键确认提交。 #### 接收来自 Topic 的消息 与此同时开启另一个消费者进程用于接收发布的内容: ```bash sh bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic test ``` 这样就能实时查看所有已存及新增的数据记录了。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值