kafka的使用、单节点搭建和集群搭建

最新推荐文章于 2025-10-15 14:18:11 发布

原创

最新推荐文章于 2025-10-15 14:18:11 发布 · 774 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #ambari #hadoop #大数据

本文详细介绍了如何使用HDP自带的Kafka进行数据生产和消费，以及通过Ambari管理的HDP添加Kafka服务。接着，文章演示了单节点Kafka的搭建步骤，包括下载、解压、配置及启动过程。最后，文章阐述了搭建Kafka集群的步骤，包括在两个节点上的配置和测试，确保生产者和消费者能成功发送和接收数据。

使用hdp自带的kafka实现生产者端生产数据，消费端消费数据。

1、利用ambari管理的hdp添加kafka服务

2、查看kafka配置中的listener配置

查看kafka中默认的主题名称：进入kafka的bin目录下：

./kafka-topics.sh --zookeeper 192.168.154.22:2181 --list

3、打开kafka的生产者

进入kafka安装目录的bin下：

./kafka-console-producer.sh --broker-list slave2.xd.edu.cn:6667 --topic ambari_kafka_service_check

4、打开kafka的消费者(kafka高于0.8的版本命令如下)

./kafka-console-consumer.sh --bootstrap-server slave2

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Small Mood

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

kafka-4-二节点集群安装kafka

qq_20466211的博客

10-03

1187

1 版本控制 kafka_2.12-2.2.0.tgz zookeeper-3.4.8.tar.gz jdk1.8.0_181 centos 7 2 免密登录 (1)查看系统中是否安装SSH dpkg -L ssh |grep ssh (2)安装SSH yum install -y openssh-server (3)测试SSH命令是否可用 ssh localhost (4)设置SSH无密码登录 cd ~/.ssh ssh-keygen -t rsa有提示，全部回车 cat id_rsa.pub >&

Kafka系列之：详细记录一次Kafka集群添加两个broker节点，重新分配Topic分区实现各个节点分区数平衡

zhengzaifeidelushang的博客

09-24

1035

Kafka系列之：详细记录一次Kafka集群添加两个broker节点，重新分配Topic分区实现各个节点分区数平衡

参与评论您还未登录，请先登录后发表或查看评论

NSQ单节点和集群搭建

Admin

01-11

1869

文章目录NSQ简介NSQ搭建单节点搭建集群搭建参考链接 NSQ简介 NSQ是由四个重要组件构成： nsqd：一个负责接收、排队、转发消息到客户端的守护进程 nsqlookupd：管理拓扑信息并提供最终一致性的发现服务的守护进程 nsqadmin：一套Web用户界面，可实时查看集群的统计数据和执行各种各样的管理任务 utilities：常见基础功能、数据流处理工具，如nsq_stat、nsq_tail、nsq_to_file、nsq_to_http、nsq_to_nsq、to_nsq NSQ搭建下载和

zookeeper单节点和集群部署与配置

任我行的博客

12-03

1315

文章目录1. 安装与部署1.2 安装zookeeper2.单节点配置3.集群配置（伪集群配置）3.1 修改配置文件3.2 修改其他配置文件3.3 创建Server标识Id3.4 启动三个zookeeper实例3.5 检测集群状态 1. 安装与部署 ##1.1 安装jdk ``` #tar -zxf jdk-8u60-linux-x64.gz -C /usr/local/jdk/ #vim .bashrc #环境变量： export JAVA_HOME = /usr/local/jdk/jdk

Kafka-2 Docker 部署单节点环境(SpringBoot验证)

最新发布

qq_56517253的博客

10-15

787

本文介绍了Kafka的三种主要发行版（Apache Kafka、Confluent Kafka和Cloudera/Hortonworks Kafka）及其特点差异。重点讲解了使用Docker部署Kafka 3.6版本单节点环境的详细步骤，包括：配置docker-compose.yml文件（含完整参数说明）解决镜像下载问题的方法通过容器内命令验证Kafka运行状态的常用方式部署方案采用不需要Zookeeper的KRaft模式，适合测试环境搭建。

kafka集群/单节点部署

qq_33617342的博客

08-05

2356

kafka集群/单节点部署一、环境说明系统：ubuntu1604，环境：java8 二、前戏 kafka操作目录是/usr/local/kafka，因此要先在/usr/local下新建kafka目录三、zookeeper安装进入kafka目录，下载最新的stable版本，命令： wget https://archive.apache.org/dis...

单点模式与集群

weixin_44334294的博客

01-03

2793

单点模式：javaee项目部署在一台tomcat上，所有的请求，都由这一台机器处理，问题很大。 1.并发处理能力因为单点服务器的性能有限制，所以单台tomcat的最大连接数有限。 2.容错率低，一旦服务器故障，项目无法正常运行。 3.单独的服务器计算能力低，无法完成复杂的海量数据计算。集群：多台服务器集中，实现相同的项目。每台服务器存在的作用缓解高并发，发生故障转移服务到另外的空闲服务器上。 1...

单节点、集群部署，五集群配置（环境zk）

酷酷的诚的博客

02-04

782

环境中有zk，嵌入式zk配置会冲突使用已配置的Zookeeper 将nifi.propertier中嵌入式zk启动改成false 以及编辑state-management.xml 启动nifi 投票选协调节点心跳 单节点选举失败：（只配置了一个节点当然选举失败）多节点配置： kudu1-dat...

单节点安装Kafka集群

0100 0111 0100 1101 0000 1111 0010 1000 1001

01-14

913

1. 首先将自己硬盘内的三个包上传到虚拟机中，三个包分别为（kafka_2.12-3.4.0.tgz）（apache-zookeeper-3.8.4-bin.tar.gz）（OpenJDK8U-jdk_x64_linux_hotspot_8u422b05.tar.gz）。kafka-console-consumer.sh --bootstrap-server 10.0.5.116:9092 --topic text #消费数据指令。#创建topic指令⚠️IP为你本机的内网IP加端口。

Kafka 实战使用、单机搭建、集群搭建、Kraft集群搭建

qq_44027353的博客

08-07

1719

Topic是逻辑上的概念，producer和consumer通过Topic进行业务沟通Topic并不存储数据，数据是保存在Topic下的多组Partition中的，消息会尽量平均的分发在各组Partition中，每组Partition保存了Topic下的一部分消息每组Partition包含一个Leader和多个Follower，每组Partition的个数成为备份因子replica factor。

单节点搭建zookeeper加kafka集群

dreamy.w的博客

12-13

960

超实用单节点搭建Kafka+zookeeper集群模式

【中间件部署】基于Docker的Kafka单节点环境搭建

10-08

在Kafka单节点环境搭建完成后，可以通过在Docker中展示服务状态，以及在Java环境中运行结果，来验证Kafka服务是否能够正常生产和消费消息。整个部署流程还包括了对Kafka Manager的配置，该管理界面提供了Kafka集群...

【redis篇】redis的单节点/集群方式搭建及说明

chenshi_2753的博客

03-20

2611

第一部分:安装 1.单节点搭建 1.安装版本 redis-2.8.18.tar.gz 2.解压 tar xf xxx 3.下载gcc，tcl 命令编译器 yum -y install gcc tcl (命令名字别写错) 4.编译、创建目录、拷贝make && make PREFIX=/opt/jw/redis install 5.配置环变： EXPORT REDIS_PR...

zookeeper单节点与集群的安装（Linux）

徐凤竹程序人生

09-04

2955

Zookeeper安装 单节点安装在安装之前保证jdk版本和zookeeper安装不冲突。为了与注释区分开，这里用$符号表示要输入或者修改的命令。#表示注释。 1、修改操作系统的/etc/hosts 文件中添加： # zookeeper servers 192.168.22.251 edu-provider-01 2、解压 z

02、Kafka ------ 配置 Kafka 集群

Java 领域技术分享

01-04

1792

02、Kafka ------配置 Kafka 集群

【Kafka学习-2】搭建kafka集群

weixin_45135482的博客

02-23

473

Kafka官网下载地址：http://kafka.apache.org/downloads

kafka学习记录二集群搭建

一点一滴得积累

03-24

400

二 Kafka集群部署 2.1 环境准备 2.1.1 集群规划 kafka102kafka103 kafka104 zk zk...

多kafka 集群搭建

刘涛的博客

06-28

576

场景：在一个cdh 集群环境中部署第二套kafka 集群部署逻辑：除cdh 部署的zk 外使用不同的端口又单独部署了一套 zk ，kafka 同理使用非默认的端口单独部署另一个kafka 集群遇到的问题：使用 kafka console shell 生产数据使用 kafka console shell 消费不到数据发现使用 sh kafka-console-consumer --zookeeper 模式可以消费到数据。问题定位： kafka 的元数据默...

2-Kafka集群搭建

guanqingqing_的博客

03-21

2040

Kafka集群搭建 Kafka集群是必须要有ZooKeeper的注意：每一个Kafka的节点都需要修改broker.id（每个节点的标识，不能重复） log.dir数据存储目录需要配置 Kafka的生产者/消费者/工具安装Kafka集群，可以测试以下创建一个topic主题（消息都是存放在topic中，类似mysql建表的过程）基于kafka的内置测试生产者脚本来读取标准输入（键盘输入）的数据，并放入到topic中基于kafka的内置测试消费者脚本来消费topic中的数据推荐大家

亲测有效的Kafka单机及集群搭建与监控指南

- 为每个Kafka节点设置不同的`broker.id`（例如：0, 1, 2）。 - 设置`listeners`为对应服务器的IP地址和端口。 - 指定`log.dirs`为不同的磁盘路径以分散IO压力。 3. **配置ZooKeeper集群**： - 在每个节点上...