【星环云课堂大数据实验】kafka消息发布与订阅

原创

已于 2023-12-16 17:06:16 修改 · 1.2k 阅读

14 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #kafka #分布式

于 2023-12-16 16:47:38 首次发布

本文介绍了如何在星环云课堂TranswarpVD环境中使用Kafka进行消息队列操作，包括创建KafkaTopic、消息发布和订阅的实验步骤，以及对Kafka原理的理解。

文章目录

一、Kafka概述

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”，[4]这使它作为企业级基础设施来处理流式数据非常有价值。此外，Kafka可以通过Kafka Connect连接到外部系统（用于数据输入/输出），并提供了Kafka Streams——一个Java流式处理库。
大白话就是kafka其实消息队列得一种。

二、实验环境

基于星环云课堂TranswarpVD

三、实验准备

查看Zookeeper和Kafka集群的服务地址
打开Transwarp Manager查看Zookeeper集群和kafka的服务地址如下所示
zookeeper地址：
172.18.48.5:2181
172.18.48.6:2181
172.18.48.7:2181
kafka地址**（也就是Broker地址）**：
172.18.48.5:9092
172.18.48.6:9092
172.18.48.7:9092
172.18.48.8:9092

后续的命令替换
{Broker_List} ：172.18.48.5:9092,172.18.48.6:9092,172.18.48.7:9092，172.18.48.8:9092
{Zookeeper_List}： 172.18.48.5:2181,172.18.48.6:2181，172.18.48.7:2181
{topic _name} ：kafka_topic_zhanghaodong