VM安装kafka

最新推荐文章于 2025-03-12 17:37:46 发布

原创最新推荐文章于 2025-03-12 17:37:46 发布 · 567 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#kafka

本文详细介绍如何下载并安装Kafka 2.5.0版本，包括配置Zookeeper和搭建Kafka集群的过程。涵盖从环境准备到各节点配置的具体步骤，以及启动服务的命令。

下载安装
wget https://mirrors.bfsu.edu.cn/apache/kafka/2.5.0/kafka_2.12-2.5.0.tgz

tar zxvf kafka_2.12-2.5.0.tgz

#以下操作在该目录下
cd kafka_2.12-2.5.0

zookeeper需要java环境
yum -y install java-1.8.0

自带的zookeeper
grep “^[#]” config/zookeeper.properties

dataDir=/tmp/zookeeper   #数据存储目录
clientPort=2181   #zookeeper端口
maxClientCnxns=0

集群搭建
1、为每个代理创建一个配置文件
cp config/server.properties config/server-1.properties
cp config/server.properties config/server-2.properties

config/server-1.properties:

    broker.id=1
    listeners=PLAINTEXT://:9093
    log.dir=/tmp/kafka-logs-1

config/server-2.properties:

    broker.id=2
    listeners=PLAINTEXT://:9094
    log.dir=/tmp/kafka-logs-2

2、分别启动：
bin/zookeeper-server-start.sh config/zookeeper.properties &
bin/kafka-server-start.sh config/server-1.properties &
bin/kafka-server-start.sh config/server-2.properties &

注意事项
当server-1.properties中的broker.id与meta.properties中不一致时：
修改meta.properties：
cd kafka_2.12-2.5.0/kafka-logs
vim meta.properties

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

陌上花开zx

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Kafka【六】Linux下安装Kafka(Zookeeper)集群

小小默：进无止境

09-03

1223

Kafka从早期的消息传输系统转型为开源分布式事件流处理平台系统，所以很多核心组件，核心操作都是基于分布式多节点的。本文这里采用三台虚拟机模拟真实物理主机搭建Zookeeper集群和kafka集群。VMware可以使用户在一台计算机上同时运行多个操作系统，还可以像Windows应用程序一样来回切换。用户可以如同操作真实安装的系统一样操作虚拟机系统，甚至可以在一台计算机上将几个虚拟机系统连接为一个局域网或者连接到互联网。

鲲鹏服务器安装Kafka

Angushine的专栏

08-20

790

由于项目需求，需要在鲲鹏云主机上安装Kafka，并且要求安装的版本为2.3.X。下面主要从以下几个步骤说明如何安装：1、下载kafka的安装文件2、上传到服务器3、修改配置4、启动5、使用工具测试。

参与评论您还未登录，请先登录后发表或查看评论

本地虚拟机redhat7安装kafka教程第三步----kafka的启动

Beyond_F4的博客

04-26

1752

本地虚拟机redhat7安装kafka教程第三步----kafka的启动当zookeeper和kafka都已经安装、配置完毕以后，就可以启动kafka，进行简单的数据发送和接收了1、启动zookeeper启动命令参考教程第一步：https://blog.youkuaiyun.com/beyond_f4/article/details/80095689进入zookeeper的安装目录 # cd /liha...

vmware虚拟机转移至esxi上后无法开机报错处理（实操）

MABOS的博客

06-10

3375

将vmware虚拟机的文件夹导入esxi6.5上，并注册虚拟机，开机不成功，报错：无法打开磁盘 scsi0:0: 磁盘类型 7 不受支持或无效。请确保磁盘已导入。解决方法

人类眶额皮层、vmPFC和前扣带回的有效连接：情绪、记忆和行动

悦影科技

04-11

3823

人类眶额皮层、腹内侧前额叶皮层（vmPFC）和前扣带回参与奖赏处理，因此参与情绪，也与情景记忆有关。为了更好地了解这些区域，我们在来自人类连接体项目的172人中测量了360个皮层区域和24个皮层下区域之间的有效连接，并补充了功能连接和扩散束造影。眶额皮层从味觉、嗅觉和颞叶视觉、听觉和颞极皮层区域都有有效连接。眶额皮层与前扣带回膝部和海马体系统有连接，并提供了用于记忆和目标导航的奖赏反映。眶额皮层和扣带回膝部与上前扣带回有连接，该皮层投射到中扣带回和其他运动前皮层区域，并提供行动-结果学习，包括肢体退缩或对抗

kafka的环境搭建(虚拟机)

weixin_44203240的博客

07-13

1976

kafka安装及环境搭建

Java虚拟机Kaffe的研究与实现

05-02

759

http://blog.sina.com.cn/s/blog_4be8ae2c01000a9h.html 摘要本文在研究kaffe的基础上，吸收kaffe虚拟机的主要思想，用C语言作为开发语言，采用了及时编译器作为执行引擎，实现了一种Windows平台下的Java虚拟机。然后对实现过程中的一些关键技术如class文件验证、及时编译器、垃圾收集器、线程同步和线程调度等做了分析。关键词 kaffe; C语言; 及时编译器;Java虚拟机 引言

精选资源

centos8安装kafka_2.11-2.4.1.docx

11-02

### CentOS 8 安装 Kafka 2.11-2.4.1 详细步骤与注意事项 #### 一、安装前的基础环境准备在正式安装 Kafka 之前，确保已准备好以下基础环境： 1. **系统版本确认**：确认当前使用的操作系统为 CentOS 8。 2. **...

鲲鹏麒麟安装Kafka-v1.1.1

Angushine的专栏

12-11

1306

因项目需要在鲲鹏麒麟服务器上安装Kafka v1.1.1，因此这里将安装配置过程记录下来。

精选资源

Kafka Tool 2.0.7（linux系统）

07-22

本文将详细介绍如何在 Linux 环境下安装和使用 Kafka Tool 2.0.7。 **一、下载与安装** 1. **获取 Kafka Tool**: 首先，你需要从官方或者第三方源下载 Kafka Tool 2.0.7 的压缩包。通常，它会是一个 `.tar.gz` 或 ...

KaffeVM

raphaelxia的专栏

04-25

1136

http://www.kaffe.org/

大数据基础环境之kafka（3台虚拟机）

咸鱼的博客

10-31

674

Kafka集群：首先，下载解压压缩包 kafka_2.11-2.0.0.tgz 到 /usr/kafka/ 配置/usr/kafka/kafka_2.11-2.0.0/config/server.properties文件：打开监听端口（打开这一行注释）：修改zookeeper.connect：配置 broker 的ID：修改 log 的目录： ...

Kafka介绍、安装以及操作

Libra_97的博客

05-01

4041

Kafka介绍、安装和操作

Kafka下载与安装教程（超级详细-实操）

NAMELZX的博客

02-06

7307

一、下载kafka软件包1、官网下载（2）将下载好的安装包上传到服务器2、使用wget命令下载。

vm搭建kafka集群 [记录]

yiluoe的博客

05-06

368

kafka.apache.org scala2.11-kafka0.11.0.0（0.9及以后消息偏移量存储位置与isr缓存队列的塞选策略有所变更。 kafka 是一个由scala和java开发的流处理平台，是一种高吞吐量的分布式发布订阅消息系统。安装解压 tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module 创建文件夹 mkdir /opt/module/kafka_2.11-0.11.0.0/logs // mkdir /opt/modul

ESXI精简thin磁盘容量回收-vmkfstools

最新发布

10-14

在虚拟机（VM）上使用 Kafka 包含部署、配置、启动、测试等一系列流程。 ### 单机部署可以采用 Linux 虚拟机部署 Kafka + ZooKeeper 单机方案。首先从 https://archive.apache.org/dist/kafka/3.4.1/kafka_2.12 - 3.4.1.tgz 下载 Kafka 安装包，使用 `wget` 命令： ```bash [root@xionghj kafka]# wget https://archive.apache.org/dist/kafka/3.4.1/kafka_2.12-3.4.1.tgz ``` 接着创建 Kafka 安装所需目录，包括存放解压包、数据和日志的目录： ```bash [root@xionghj /]# mkdir -p /opt/kafka [root@xionghj /]# mkdir -p /opt/kafka/kafka_data [root@xionghj /]# mkdir -p /opt/kafka/kafka_log ``` 然后解压并安装 Kafka 服务： ```bash [root@xionghj kafka]# tar -zxvf kafka_2.12-3.4.1.tgz ``` 修改 Kafka 服务配置，进入配置文件目录并编辑 `server.properties` 文件： ```bash [root@xionghj kafka]# cd /opt/kafka/kafka_2.12-3.4.1/config [root@xionghj config ]# vim server.properties ``` 修改以下参数： ```properties broker.id=0 port=9092 host.name=localhost log.dirs=/opt/kafka/kafka_log zookeeper.connect=localhost:2181 ``` 最后启动并测试 Kafka 服务 [^1]。 ### 集群部署若要搭建集群，从新建 Linux 虚拟机开始，依次进行安装虚拟机、创建虚拟机、配置网络等操作。之后进行搭建集群准备工作，包括安装 JDK，检查是否已安装 openjdk，下载、上传安装包，解压，修改环境变量并检测是否配置成功。搭建 ZooKeeper 集群，需完成下载、上传、解压、配置、启动集群和查看启动状态等步骤。搭建 Kafka 集群则要进行下载、上传、解压、更改文件夹名称、新建 logs 文件夹、修改配置文件，将修改后的文件扩展到其他节点，最后启动 Kafka。使用 Kafka 时，可以创建 topic、查看 topic 及其详细信息、发送和接收消息以及删除 topic 等操作 [^2]。 ### 测试 Kafka 可以使用以下命令进行测试： ```bash bin/kafka-console-consumer.sh --bootstrap-server hdp-1:9092,hdp-2:9092,hdp-3:9092 --topic test --from-beginning ``` 此命令可从指定的 Kafka 集群的 `test` 主题开始接收消息 [^3]。 ### 解决访问问题在虚拟机上搭建 Docker Kafka 时，若宿主机器程序无法访问，可通过 `-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://139.226.179.239:9092` 将 Kafka 的地址端口注册给 ZooKeeper，若要远程访问需将其改成外网 IP [^4]。