kafka安装及使用

最新推荐文章于 2025-06-29 09:21:18 发布
原创 最新推荐文章于 2025-06-29 09:21:18 发布 · 6.8k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了如何在Linux环境下安装Kafka，包括解压安装包、配置Zookeeper和Kafka服务器，以及创建主题。还提到了启动生产者和消费者进行消息传递的过程，以及如何更改Kafka的端口号。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

准备

kafka版本： kafka_2.11-1.1.0.tgz

将kafka解压在opt目录下（opt为hadoop用户下的目录）

tar -zxvf kafka_2.11-1.1.0.tgz  -C opt/

注意，此命令执行条件：我的kafka在hadoop主体目录下，而opt在hadoop目录下。


启动服务器

解压好后到,先进入kafka目录

 cd kafka_2.11-1.1.0

因为zookeeper.properties注释实在太多，所以我通过grep命令查找到kafka非注释的字符串，并把它追加到 zk.properties中。

cat zookeeper.properties | grep -v '#'  >> config/zk.properties

zk.properties只需要修改第一行

dataDir=/home/hadoop/zk  #因为zookeeper变更为zk,所以需要在这里修改一下

启动zookeeper

bin/zookeeper-server-start.sh config/zk.properties


启动kafka服务器（broker）

同zookeeper相同，筛选一下server.properties并把它追加到kafka1.propertie

最低0.47元/天 解锁文章

200万优质内容无限畅学
kafka使用教程、快速上手
m0_55070913的博客
06-08 431
Kafka 是一个分布式的基于发布 / 订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。使用消息队列的好处：解耦允许独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。可恢复性系统的一部分组件失效时，不会影响整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。缓冲有助于控制和优化数据流经过系统的速度，解决生产消息和消费消息的处理速度不一致的情况。灵活性和峰值处理能力使用消息队列能够使关键组件顶住突发的
kafaka安装
weixin_59230567的博客
04-25 3396
kafka安装原始安装与docker-compose一键启动kafka
Kafka的下载安装
最新发布
qq_41946216的博客
06-29 690
Kafka 是基于 Java 的，必须先安装 JDK。 此次我们以 kafka_2.12-3.3.1.tgz 即 Kafka3.3.1 为案例，安装jdk1.8。⚠️ 注意：Kafka 3.9.0 要求本地必须安装 JDK 17 或以上版本。JDK 8 和 11 已不再被官方支持。 vi /etc/sysconfig/network-scripts/ifcfg-ens32 ---- 根据自己网卡设置。vi /etc/hosts​ 创建数据存储目录和日志目录 配置服务器编号
Kafka 01——Kafka的安装及简单入门使用
@素素~的博客
08-10 2901
Kafka 01——Kafka的安装及简单入门使用
kafka的配置与使用
xianrenqiu1234的博客
05-20 209
kafka安装与使用
weixin_44594317的博客
10-09 861
kafka的安装与使用
【安装指南】Windows 安装 Kafka 及使用
大家好，我是敖云岚，一个沉迷代码的 “技术玩家”。擅长 Java、C++ 开发，对 MySQL、Redis、RabbitMQ 等技术也颇有研究。博客里既有硬核技术干货，也有诙谐幽默的编程日常分享。愿和你一起，笑着学技术，快乐敲代码！
05-07 1292
常见的MQ消息中间件有很多，例如ActiveMQRabbitMQKafkaRocketMQ等等。那么为什么我们要使用它呢？1️⃣ 高并发的流量削峰举个例子，假设某订单系统每秒最多能处理一万次订单，也就是最多承受的10000qps，这个处理能力应付正常时段的下单时绰绰有余，正常时段我们下单一秒后就能返回结果。但是在高峰期，如果有两万次下单操作系统是处理不了的，只能限制订单超过一万后不允许用户下单。
kafka安装及详细介绍
04-11
Kafka 安装及详细介绍 Kafka 是一个高吞吐的分布式消息队列系统，具有生产者消费者模式，先进先出（FIFO）保证顺序，不丢失数据，默认每隔 7 天清理数据。事件记录了一个事实，即世界或企业中发生的“某些事情”。...
【Kafka】Kafka安装、配置、使用、Java中使用-02
Blue_Pepsi_Cola的博客
04-06 1837
【代码】【Kafka】Kafka安装、配置、使用。
kafka 使用
Mensonge的博客
04-27 2036
pom引入依赖 配置文件增加相关配置 <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-stream-kafka</artifactId> </dependency>
Kafka入门、介绍、使用及部署
06-30
介绍Kafka的优缺点、使用场景、设计原理、集群安装部署。
真的，Kafka 入门一篇文章就够了
程序员cxuan的个人主页
11-28 9998
初识 Kafka 什么是 Kafka Kafka 是由 Linkedin 公司开发的，它是一个分布式的，支持多分区、多副本，基于 Zookeeper 的分布式消息流平台，它同时也是一款开源的基于发布订阅模式的消息引擎系统。 Kafka 的基本术语 消息：Kafka 中的数据单元被称为消息，也被称为记录，可以把它看作数据库表中某一行的记录。 批次：为了提高效率， 消息会分批次写入 Kafka，批次...
kafka的使用
jiancheng20121的博客
12-16 129
kafka-topics.sh --create --zookeeper zookeeper-1.zookeeper:2181 --replication-factor 1 --partitions 1 --topic im-msg kafka-topics.sh --list --zookeeper zookeeper-1.zookeeper:2181 kafka-consumer-groups.sh --zookeeper zookeeper-1.zookeeper:2181 --list ...
kafka安装配置及使用
行东的bug博客笔记
04-17 1702
Kafka 是一个分布式流处理平台和消息队列系统，最初由 LinkedIn 公司开发并开源。它设计用于htt处理大规模的实时数据流，并具有高可扩展性、高吞吐量和持久性等特性。以下是 Kafka 的一些主要特点和用途：分布式架构：Kafka 是一个分布式系统，可以运行在多个服务器上组成的集群中。这个集群可以被扩展到数百台服务器上，以处理大量的数据和客户端。发布-订阅模型：Kafka 使用发布-订阅模型来处理消息。消息生产者将消息发布到一个或多个主题（Topics）中，而消息消费者则通过订阅这些主题来接收消息。
(一)kafka安装及操作命令
qq_34136709的博客
09-23 280
(一)kafka安装及操作命令 1.安装 kafka可以通过官网下载 https://kafka.apache.org/downloads kafka根据Scala版本不同，又分为多个版本，我不需要使用Scala，所以就下载官方推荐版本kafka_2.12-2.4.0.tgz。 下载好后在自己的服务器上进行解压即可，这里就不演示了 2.Zookeeper配置 当前下载的kafka程序里自带Zookeeper，可以直接使用其自带的Zookeeper建立集群，也可以单独使用Zookeeper安装文件建立集群。
Kafka的使用
ZZJXP的博客
06-15 155
Kafka的使用
Kafka使用
weixin_38312502的博客
08-17 363
1. 什么是Kafka Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域，且是一个分布式的数据流式传输平台，由Scala写成。 Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic进行归类，发送消息者称为Producer，消息接受者称为Consumer，此外kafka集群有多个kafka实例组成，每个实例(server)称为broker。 2. Kafka特点 作为一个数据流式传输平台，kafka有以下三大特点： 类似.
kafka安装
chenyifan0329的博客
07-19 576
先在第一台执行，然后拷贝到第二台，第二台重复上一步的操作然后拷贝到第三台，第三台重复上一步操作，然后拷贝到第一和第二台。和Follower节点之间请求和应答之间能容忍的最多心跳数（2000*5=10s）集群信息（服务器编号，服务器地址，Leader-Follower通信端口，选举端口）使用的基本时间单位（毫秒），心跳超时时间是tickTime的两倍。）时，此配置指定必须确认写入的副本的最小数量，才能认为写入成功。有差异，存在该文件则修改，不存在不用新增。用于处理网络请求的线程数。...
Kafka安装及使用指南
以下是简化版的Kafka安装步骤： a. 安装Java环境。 b. 下载并解压Kafka。 c. 修改Kafka的配置文件。 d. 启动ZooKeeper和Kafka服务。 e. 验证Kafka是否安装成功。 5. Kafka使用示例 以Producer向Kafka发送消息、...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值