kafka_2.12集群布署

最新推荐文章于 2024-12-09 17:37:32 发布
最新推荐文章于 2024-12-09 17:37:32 发布
阅读量683 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： Linux日常运维 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/OthersOnlyMe/article/details/107822574

下载kafka：

https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.5.0/kafka_2.12-2.5.0.tgz

配置JDK环境：

echo "export JAVA_HOME=/usr/local/jdk" >> /etc/profile

echo "export CLASSPATH=\$JAVA_HOME/lib:\$CLASSPATH" >> /etc/profile

echo "export PATH=\$JAVA_HOME/bin:\$PATH" >> /etc/profile

source /etc/profile

tar -xf kafka_2.12-2.5.0.tgz

mv kafka_2.12-2.5.0 /usr/local/kafka

cd /usr/local/kafka/

 

1、zookeeper集群配置

mkdir -p /data/zookeeper

修改各节点zookeeper.properties配置文件如下：

192.168.199.140

创建集群ID文件：echo 1 > /data/zookeeper/myid

dataDir=/data/zookeeper

clientPort=2181

maxClientCnxns=0

admin.enableServer=true

admin.serverPort=8080

initLimit=5

syncLimit=2

server.1=192.168.199.140:2888:3888

server.2=192.168.199.141:2888:3888

server.3=192.168.199.142:2888:3888

192.168.199.141

创建集群ID文件：echo 2 > /data/zookeeper/myid

dataDir=/data/zookeeper

clientPort=2181

maxClientCnxns=0

admin.enableServer=true

admin.serverPort=8080

initLimit=5

syncLimit=2

server.1=192.168.199.140:2888:3888

server.2=192.168.199.141:2888:3888

server.3=192.168.199.142:2888:3888

192.168.199.142

创建集群ID文件：echo 3 > /data/zookeeper/myid

dataDir=/data/zookeeper

clientPort=2181

maxClientCnxns=0

admin.enableServer=true

admin.serverPort=8080

initLimit=5

syncLimit=2

server.1=192.168.199.140:2888:3888

server.2=192.168.199.141:2888:3888

server.3=192.168.199.142:2888:3888

配置释义：

initLimit：允许follower与leader连接和同步的时间，如果ZooKeeper管理的数据量很大，可以根据需要增加这个值。

syncLimit：允许follower与leader同步的时间，如果follower远远落后于leader，他们将被丢弃。

maxClientCnxns：限制单个客户端(由IP地址标识)对ZooKeeper集成中的单个成员的并发连接数(在套接字级别)。这是用来防止某些类型的DoS攻击，包括文件描述符耗尽。默认值是60。将此值设置为0完全删除了并发连接的限制。

admin.enableServer：是否开启管理服务

admin.serverPort=8080：管理服务开放端口

clientPort：监听客户端连接的端口

server.id=host:port:port 对于每台服务器，您首先需要指定一个仲裁端口，然后为ZooKeeper leader选举指定一个专用端口

更多配置参数参考官网：

https://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_zkMulitServerSetup

各节点启动zookeeper：

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

集群管理命令：

url示例：/commands/[command name]

更多命令参考官网：

https://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_configuration

查看zookeeper集群服务状态：

http://192.168.199.142:8080/commands/stat

或

curl http://localhost:8080/commands/stat

由此查看到目前192.168.199.142这台是leader节点。

 

 

2、kafka集群配置(server.properties)

192.168.199.140

broker.id=0

listeners=PLAINTEXT://192.168.199.140:9092

advertised.listeners=PLAINTEXT://192.168.199.140:9092

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dirs=/tmp/kafka-logs

num.partitions=1

num.recovery.threads.per.data.dir=1

offsets.topic.replication.factor=2

transaction.state.log.replication.factor=1

transaction.state.log.min.isr=1

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

zookeeper.connect=192.168.199.140:2181,192.168.199.141:2181,192.168.199.142:2181

zookeeper.connection.timeout.ms=18000

group.initial.rebalance.delay.ms=0

192.168.199.141

broker.id=1

listeners=PLAINTEXT://192.168.199.141:9092

advertised.listeners=PLAINTEXT://192.168.199.141:9092

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dirs=/tmp/kafka-logs

num.partitions=1

num.recovery.threads.per.data.dir=1

offsets.topic.replication.factor=2

transaction.state.log.replication.factor=1

transaction.state.log.min.isr=1

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

zookeeper.connect=192.168.199.140:2181,192.168.199.141:2181,192.168.199.142:2181

zookeeper.connection.timeout.ms=18000

group.initial.rebalance.delay.ms=0

192.168.199.142

broker.id=2

listeners=PLAINTEXT://192.168.199.142:9092

advertised.listeners=PLAINTEXT://192.168.199.142:9092

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dirs=/tmp/kafka-logs

num.partitions=1

num.recovery.threads.per.data.dir=1

offsets.topic.replication.factor=2

transaction.state.log.replication.factor=1

transaction.state.log.min.isr=1

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

zookeeper.connect=192.168.199.140:2181,192.168.199.141:2181,192.168.199.142:2181

zookeeper.connection.timeout.ms=18000

group.initial.rebalance.delay.ms=0

参数参考官网：

http://kafka.apache.org/documentation/#connect_configuring

各节点启动kafka：

bin/kafka-server-start.sh -daemon config/server.properties

创建topic：

bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server 192.168.199.140:9092

查看topic详细信息：

bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server 192.168.199.140:9092

模拟生产者写消息：

$ bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server 192.168.199.140:9092

This is my first event

This is my second event

模拟消费者读消息：

$ bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server 192.168.199.140:9092
This is my first event
This is my second event

集群部署完成。

kafka2.12 集群搭建
wjlzx的博客
05-21 631
简单介绍下kafka kafka是一个分布式的消息队列系统，消息以topic分类传输，生产者往topic发送消息时，消息会被分散到topic的不同分区中，消费者以组的形式消费topic中的数据，一个topic的一个分区，只能被同一个组里的一个消费者消费，但同一个消费者，可以消费多个分区数据，每个组自己维护topic每个分区的消费偏移量。 kafka不能保证不同分区消...
kafka集群部署
咸鱼派大星的博客
04-19 637
所有节点执行，将下载的安装包上传至服务器。所有节点执行，将下载的安装包上传到服务器。所有节点执行，将下载的安装包上传至服务器。测试，在集群内任意节点执行都可以。安装kafka Eagle。启动zookeeper。验证zookeeper。安装mysql5.7。
centos Kafka 2.12 三节点集群部署
weixin_60264256的博客
03-15 277
解压kafka的安装包，修改 conf 目录下的server.properties，配置如下。集群每个节点需要修改的的几个配置：broker.id、 listerners、zookeeper.connect。将改好的配置文件scp到其他节点中，配置无需改变，保证myid不一致即可。将改好后的配置scp到另外两个节点，并修改 broker.id、 listerners。每个节点的编号不一样，可按1、2、3的顺序给每个节点分配id。1、下载kafka、zookeeper。3、kafka 安装。
kafka-2.12-2.0.0 三节点集群裸机部署
weixin_48617665的博客
12-29 545
kafka集群搭建
Kafka_2.12-2.1.0+Zookeeper-3.4.13集群部署详细教程
是故事啊~关注我~
11-10 1194
安装kafka和zookeeper教程。
centos kafka单机离线安装&kafka服务化&kafka tool连接kafka
weixin_39794723的博客
12-09 931
开放zookeeper端口：firewall-cmd --zone=public --add-port=2181/tcp --permanent。开放kafka端口：firewall-cmd --zone=public --add-port=2181/tcp --permanent。vim /etc/profile 在最底部增加KAFKA_HOME=/opt/tool/kafka/kafka_2.12-2.6.2/切换目录：cd /opt/tool/kafka/kafka_2.12-2.6.2/
kafka 集群搭建
qq_34304427的博客
08-24 361
kafka 集群搭建，分别支持 zookeeper 和 krafka
kafka完全分布式搭建（2.12版）
weixin_33766168的博客
11-16 143
1、下载解压 　　tar -xvfkafka_2.12-1.0.0.tgz 2、进入config目录下，修改server.propeties文件 　　broker.id=0 #当前server编号 　　port=9092 #使用的端口 　　log.dirs=/tmp/kafka-logs-1 #日志存储目录 　　zookeeper.connect=localhost:2181 3、...
Kafka系列二之部署与使用
留歌__36的博客
11-21 1335
Kafka部署与使用写在前面 从上一篇Kafka的架构介绍和安装中，可能，你还一直很蒙，kafka到底该怎么使用呢？接下来，我们就来介绍Kafka的部署与使用。上篇文章中我们说到，Kafka的几个重要组成是:1.producer 2.consumer 3.broker 4.topic .因此我们就是围绕这几个组件来使用我们的Kafka.如何开始呢？我们查看官网上面是如何说的，http://kaf
Kafka2.12安装与配置/生产与消费
chuanchengdabing的博客
11-03 2948
Kafka 一个主题包括多个先进先出的队列，实现了横向的扩展；通过分区副本，保持高可用（部署在多个不同的机器上） rabbitmq延迟低，处理数据并发量w级别 kafka延迟高，处理数据并发量能够达到千w级别（分批次压缩，高吞吐量） 副本分区只用于实现复制 ...
kafka_2.12-2.5.1&&apache-zookeeper-3.5.8
10-20
kafka和zk linux安装包
节点精灵-如何识别界面信息？
weixin_39422291的博客
01-10 1428
节点官网地址：http://www.nspirit.cn local rule = R():id("com.freespace.aplug:id/tv_title_ip"); local view = find(rule); if view then print(view.text); -- 节点的文本 string print(view.id); -- 节点的id string print(view.desc); -- 节点的描述 string
115 Kafka集群部署
阿甘兄
08-12 316
1.集群部署的基本流程 下载安装包、解压安装包、修改配置文件、分发安装包、启动集群 2.集群部署的基础环境准备 安装前的准备工作（zk集群已经部署完毕） 关闭防火墙 chkconfig iptables off && setenforce 0 创建用户 groupadd realtime &&　useradd realtime　&& us...
Kafka集群部署教程
程序园@大Null
06-03 1274
Kafka部署需要Java环境，可以使用CentOS自带的或者自己重新安装新版本 首先准备好安装包，官网下载地址： http://kafka.apache.org/downloads 我这里下载的2.8.0的版本，目前为止最新的版本，一共三台服务器，依次上传上去并解压 tar -zxvf kafka_2.12-2.8.0.tgz 解压之后，可以看到下面的内容 然后先建立zookeeper集群，我这里使用的是kafka自带的，修改config目录下的zookeeper.properties文件 #.
Kafka的安装及部署
seo232323的博客
10-11 385
停止Kafka集群时，一定要等Kafka所有节点进程全部停止后再停止Zookeeper集群。因为Zookeeper集群当中记录着Kafka集群相关信息，Zookeeper集群一旦先停止，Kafka集群就没有办法再获取停止进程的信息，只能手动杀死Kafka进程了。5）修改分区数 （注意：分区数只能增加，不能减少）1）查看操作主题命令参数。4）查看某个主题详情。
kafka安装部署
热门推荐
m0_46192647的博客
03-11 4万+
一、安装kafka 下载kafka两种方式 （1）、手动下载 下载地址：Apache Kafka （2）、也可以用命令下载（直接下载到服务器哦！）： 将安装包下载到/opt/monitor/kafka文件夹下面 下载命令： wget http://mirrors.hust.edu.cn/apache/kafka/2.0.0/kafka_2.12-2.0.0.tgz 手动下载移动到/opt/monitor/kafka目录下也可以 二、解压kafka tar -xzvf kafk
Kafka安装配置
krb___的博客
03-22 764
安装启动之前必须配置好zookeeper 可以参考。
大数据技术之Kafka——Kafka的安装与部署
five小点心的博客
04-13 2201
（2）也可以用命令下载（直接下载到服务器哦！）：将安装包下载到/opt/monitor/kafka文件夹下面下载命令：手动下载移动到/opt/soft/kafka目录下也可以。
架构一、zookeeper、Kafka集群部署及失败方法
szd1011的博客
08-24 405
理论 Kafka重要概念： Topic：话题、或者消息主题，是逻辑上的概念 Partition：分区，用于存放topic的数据 Partition offset：分区上消息的偏移量 Replicas of patition：分区的副本数量（大于等于 节点数量） Brokers：指的是Kafka集群，一个Kafka节点称为一个broker Producer：消息的生产者，其实就是服务 Consu...
kafka_2.12-2.4.1 集群win
最新发布
04-02
### 在 Windows 环境下配置和运行 Kafka_2.12-2.4.1 集群 #### 一、环境准备 为了在 Windows 上成功搭建 Kafka 集群，需要先完成以下准备工作： - 安装 Java JDK 并设置 `JAVA_HOME` 环境变量[^3]。 - 下载并解压 Apache Kafka 的二进制文件到指定目录。例如可以下载版本为 `kafka_2.12-2.4.1.tgz` 或 `.zip` 文件[^2]。 #### 二、ZooKeeper 单节点配置 由于 Kafka 使用 ZooKeeper 来管理元数据，在开始之前需确保已安装并启动单机版的 ZooKeeper 实例。可以通过如下方式验证其状态： ```bash zkServer.cmd status ``` 如果未安装，则可以从官方地址获取最新稳定版本，并按照文档说明进行初始化操作[^4]。 #### 三、多 Broker 节点规划 假设计划创建三个 broker 组成的小型测试集群 (broker.id分别为0,1,2)，那么每台机器都需要单独的一份 server.properties 文件副本以及相应的日志存储路径调整。 ##### 修改配置项示例： 对于第一个Broker (`server-0.properties`) 设置如下参数: ```properties broker.id=0 listeners=PLAINTEXT://localhost:9092 log.dirs=C:\kafka\logs\broker-0 zookeeper.connect=localhost:2181 ``` 第二个Broker(`server-1.properties`) 则相应更改端口号及日志位置等字段值；依次类推直至最后一个实例为止[^5]。 #### 四、分别启动各Brokers服务进程 进入对应解压缩后的bin/windows子目录执行下面命令来逐一起动各个brokers : ```cmd .\kafka-server-start.bat ..\config\server-0.properties ``` 重复上述过程直到所有预定数量的服务均已上线即可[^6]。 #### 五、验证集群功能正常与否 利用自带工具创建主题并向其中发送消息后再读取出来确认整个链路无误 。比如新建名为test_topic的主题包含两个分区一个副本因子： ```cmd .\kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 2 --topic test_topic ``` 接着生产几条记录进去查看效果如何？ ```cmd echo "This is a message" | .\kafka-console-producer.bat --broker-list localhost:9092 --topic test_topic ``` 最后通过消费端程序检验能否接收到预期的数据流输出结果吧！ ```cmd .\kafka-console-consumer.bat --bootstrap-server localhost:9092 --from-beginning --topic test_topic ``` 以上就是在Windows平台之上构建起基础形态下的Kafka分布式消息队列系统的全过程概述啦！希望对你有所帮助哦～ ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值