spark streaming 实时流处理实战笔记五

最新推荐文章于 2024-05-03 17:08:17 发布

huxin9611

最新推荐文章于 2024-05-03 17:08:17 发布

阅读量161

点赞数

CC 4.0 BY-SA版权

分类专栏：学习笔记文章标签： spark

本文链接：https://blog.youkuaiyun.com/huxin9611/article/details/89736081

学习笔记专栏收录该内容

19 篇文章

订阅专栏

本文介绍了单节点Kafka的部署与使用。首先阐述了Zookeeper的安装与启动，接着说明了Kafka单节点broker的部署，包括安装Scala并配置环境变量、修改Kafka配置文件。还介绍了创建、查看topic，以及消息的发送与消费，同时提及了Describe的使用方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

单节点Kafka部署 zookeeper安装
Zookeeper启动：zkServer.sh start

Kafka单节点broker的部署及使用
安装zookeeper和Scala 配置到系统环境变量中

Kafka配置文件

server.properties broker.id=0

Listeners：9092
host.name
log.dirs
zookeeper.connect=localhost:2181

启动kafka bin/kafka-server-start.sh config/server.properties
提示信息：USAGE: /app/kafka_2.11-0.9.0.0/bin/kafka-server-start.sh [-daemon] server.properties [–override property=value]*

kafka-server-start.sh $KAFKA_HOME/config/server.properties

创建一个topic
kafka-topics.sh –create –zookeeper localhost:2181 -–replication-factor 1 –partitions 1 –topic test

kafka-topics.sh --create --zookeeper hadoop000:2181 --replication-factor 1 --partitions 1 --topic hello_topic

查看所有topic
bin/kafka-topics.sh --list --bootstrap-server localhost:9092

kafka-topics.sh --list --zookeeper hadoop000:2181

发送消息：broker
kafka-console-producer.sh --broker-list hadoop000:9092 --topic hello_topic
9092是监听端口（Listeners）

消费消息：zk
kafka-console-consumer.sh --zookeeper hadoop000:2181 --topic hello_topic --from-beginning

在这里插入图片描述

–from being的使用

Describe的使用（查看所有topic的详细信息）
kafka-topics.sh --describe --zookeeper hadoop000:2181

查看制定topic的详细信息：kafka-topics.sh --describe --zookeeper hadoop000:2181 --topic hello_topic