kafka 环境搭建及验证

下载

git clone https://github.com/wurstmeister/kafka-docker

配置

  进入 root 权限
  sudo su   
  建立目录
  mkdir /usr/local/kafka
  备份一下  docker-compose.yml  然后修改中间的主机名,不要用127.0.0.1
  将 
      KAFKA_ADVERTISED_HOST_NAME: 192.168.1.84   


启动

启动集群

docker-compose -f docker-compose-single-broker.yml up -d

停止集群

docker-compose -f docker-compose-single-broker.yml down

测试

安装 python 环境

apt install python-kafka python3-kafka

运行消费者

python consumer.py

from kafka import KafkaConsumer

#connect to Kafka server and pass the topic we want to consume
consumer = KafkaConsumer('my-topic', bootstrap_servers = ['192.168.1.84:9092'])

for msg in consumer:
   print msg

运行生产者

python product.py

import time
from kafka import SimpleProducer, KafkaClient
from kafka import KafkaProducer


producer = KafkaProducer(bootstrap_servers = ['192.168.1.84:9092'])
# Assign a topic
topic = 'my-topic'

def test():
    print('begin')
    n = 1
    while (n<=100):
        msg="{\"top\":" + str(n) + "}"
        producer.send(topic, msg )
        print "send" + msg
        n += 1
        time.sleep(0.5)
    print('done')

if __name__ == '__main__':
    test()
### 如何搭建 Kafka 环境 #### 下载和解压 Kafka 访问 Apache Kafka 官方网站 (https://kafka.apache.org/downloads),下载最新版本的 Kafka 二进制文件。将其解压缩至目标目录以便后续操作[^2]。 ```bash tar -xzf kafka_<version>.tgz cd kafka_<version> ``` #### 启动 ZooKeeper 和 Kafka Broker Kafka 需要依赖于 ZooKeeper 来管理集群元数据和其他协调任务。以下是启动命令: ```bash bin/zookeeper-server-start.sh config/zookeeper.properties & bin/kafka-server-start.sh config/server.properties & ``` 此过程会以后台方式运行 ZooKeeper 和 Kafka broker 实例[^3]。 #### 创建 Topic 通过 `kafka-topics.sh` 工具创建一个新的 topic,指定其副本数 (`--replication-factor`) 和分区数量 (`--partitions`)。 ```bash bin/kafka-topics.sh --create \ --zookeeper localhost:2181 \ --replication-factor 1 \ --partitions 1 \ --topic test_topic ``` 验证已成功创建的 topics 列表: ```bash bin/kafka-topics.sh --list --zookeeper localhost:2181 ``` #### 发送消息到 Kafka 使用控制台生产者工具向指定 topic 中发送消息: ```bash bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test_topic ``` 每输入一条消息并按回车键确认后,该条消息会被发送到 Kafka 的对应 topic 上。 #### 消费来自 Kafka 的消息 同样利用控制台消费者工具读取消息流中的内容: ```bash bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test_topic --from-beginning ``` 参数 `--from-beginning` 表明从最早记录处开始拉取数据[^3]。 #### 停止服务 当完成测试或者需要停止当前的服务实例时,可执行如下脚本来安全关闭它们: ```bash bin/kafka-server-stop.sh bin/zookeeper-server-stop.sh ``` 以上步骤涵盖了基本的 Kafka 单机环境配置流程[^3]。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值