KAFKA脚本操作

最新推荐文章于 2024-08-23 10:46:12 发布
最新推荐文章于 2024-08-23 10:46:12 发布
阅读量283 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： KAFKA 文章标签： KAFKA 启动脚本
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xiongda1122/article/details/83927992

zookeeper 启动脚本 ./zookeeper-server-start.sh ../config/zookeeper.properties &
kafka启动脚本 ./kafka-server-start.sh ../config/server.properties &


1、虚拟机的端口telnet不通
   关闭防火墙： service iptables stop
2、producer启动不了
   修改kafka的配置文件 server.properties 将advertised.host.name设置为服务器IP地址
3、连接超时
   修改zkSessionTimeOut的时间 zkSessionTimeOut = "10000";

查看kafka源代码需要eclipse安装插件Scala

Kafka运维实战 08 - kafka 3.7脚本工具最全整理汇总【建议收藏】
cuiwin的专栏
07-18 1248
Kafka 脚本工具是 Apache Kafka 提供的一系列命令行工具，用于管理、监控和操作 Kafka 集群。这些工具位于 Kafka 安装目录的 bin 目录下（Windows 系统为 .bat 文件，Linux/Mac 为 .sh 文件）。以下是一些核心脚本工具的详细介绍kafka-broker-api-versions.sh 是 Kafka 自带的一个重要脚本工具，用于查询 Kafka Broker 支持的 API 版本信息。
kafka 脚本发送_kafka脚本
weixin_39615402的博客
12-22 122
为了便于使用，kafka提供了比较强大的Tools，把经常需要使用的整理一下开关kafka Serverbin/kafka-server-start.sh config/server.propertiesbin/kafka-server-stop.shJMX_PORT=9999 nohup bin/kafka-server-start.sh config/server.properties &am...
Kafka系列8：一网打尽常用脚本及配置，宜收藏落灰！
ShiLuoHeroKing的博客
05-27 849
前言通过前面 7 篇文章的介绍，小伙伴们应该对 Kafka 运行工作原理有一个相对比较清晰的认识了。为了提高平时的工作效率，帮助我们快速定位一些线上问题，比如查看部分 Partition...
kafka常用脚本
ea8d1n3的博客
03-09 2611
原文地址: kafka常用脚本 欢迎访问: 我的博客 引言 本文是转载的, 但是原文已经找不到了. 在Kafka安装目录下 ($KAFKA_HOME/bin), 提供了很多内置的脚本供我们使用, 使用脚本可以测试 Kafka 的大多数功能, 下面我们就脚本的使用作出说明. 启动 broker bin/kafka-server-start.sh 脚本提供了启动 broker 的功能. 前台启动 bin/kafka-server-start.sh config/server.properties 后台启动：
kafka基本操作指令（脚本）
u011402017的博客
08-22 353
先启动zookeeper，然后启动kafka zookeeper 启动：[root@VM_0_9_centos bin]#./zkServer.sh start   查看：[root@VM_0_9_centos bin]#./zkServer.sh status 停止：[root@VM_0_9_centos bin]#./zkServer.sh stop 登录：./zkCli -server i...
kafka脚本总结
csdncjh的博客
06-30 935
//新建topic //修改partition数 只能增 //删除topic //查看topic列表 //查看消费情况 //启动消费者 //启动生产者 //从头开始消费//查看消费积压#查看consumer group列表# 查看指定consumer group详情 #查看指定group_id对指定group的消费情况 #查看kafka特定topic的详情，使用–topic与–describe参数...
kafka启停、操作脚本（shell），简化kafka操作
weixin_55787608的博客
08-23 671
kafka启停、运行脚本（shell），实现传参create, list, describe, delete, consumer, producer start ,stop完成相关操作，简化操作命令
kafka topic迁移脚本
11-11
文件“kafka迁移参考脚本”可能包含了实现这些步骤的具体代码示例，这将有助于理解如何在实际操作中执行上述流程。在编写脚本时，需要注意异常处理和错误恢复机制，以应对可能出现的问题。 通过以上步骤，我们可以...
sh代码-Shell 脚本方式启动Kafka服务
07-16
总的来说，使用Shell脚本启动Kafka服务是运维工作中常见的实践，它简化了操作流程，提高了效率。通过理解`main.sh`中的逻辑，你可以根据自己的需求定制脚本，适应不同的环境和需求。记住，编写和维护这类脚本时，...
kafka一键启停脚本
11-19
"Kafka一键启停脚本"是针对Kafka集群管理的实用工具，能够简化操作流程，提高运维效率。 首先，我们需要理解Kafka的基本概念。Kafka的核心组件包括生产者（Producer）、消费者（Consumer）和主题（Topic）。生产者...
【Kafka】动手实践之Kafka运维脚本系列（持续更新）
浩瀚宇宙的一粒尘埃
12-24 808
文章目录kafka-delete-records.shkafka-log-dirs.shkafka-preferred-replica-election.sh kafka-delete-records.sh 作用：删除topic指定partition的指定offset之前的数据 用法： 参数 是否必须 备注 –bootstrap-server REQUIRED 设置连接的Kafka服务地址，多个以英文逗号分隔 –command-config 包含需要传递给Admin Client的
Kafka——Kafka常用脚本命令
aof
12-21 432
文章目录Kafka Server启动生产、消费消息1. 生产消息2. 消费消息主题管理创建topic删除主题查看所有主题查看主题信息修改主题分区修改主题参数分区重分配修改主题限速消费者信息查看消费者位移查看消费者组提交的位移数据查看消费者组的状态信息参考 Kafka Server启动 $ bin/kafka-server-start.sh config/server.properties 生产、消费消息 1. 生产消息 $ bin/kafka-console-producer.sh --broker-li
KAFKA-06-kafka 脚本命令使用详解
苍煜
08-05 1536
【代码】KAFKA-06-kafka 脚本命令使用详解。
kafka 命令脚本说明以及在java中使用
卷心菜投手
09-01 1135
springBoot kafka 使用
kafka脚本操作
要记得输出！
07-27 241
创建一个topic:topic: 指的是话题, 主题的意思, 在消息发送的时候, 我们需要对消息进行分类, 生产者和消费者需要在同一个topic下, 才可以进行发送和接收 ./kafka-topics.sh --create --zookeeper node01:2181,node02:2181,node03:2181 --replication-factor 1 --partit...
kafka-工具脚本 01
m0_45987292的博客
03-04 2083
脚本
kafka最好用的脚本一：kafka-topic
weixin_34209851的博客
12-09 633
kafka-topic 使用手册 官方说明: Create, delete, describe, or change a topic. Option Description ------ ----------- --alter ...
kafka的相关操作脚本
weixin_33708432的博客
07-18 72
总结最近用到的kafka相关命令和脚本。 1、创建Topic./kafka-topics.sh --zookeeper cc13-141:2182 --topic mytopic --replication-factor 1 --partitions 1 --create 2、Topic列表./kafka-topics.sh --zookeeper cc13-138:2181 --list ...
尚硅谷 集群 kafka脚本
最新发布
01-15
### 尚硅谷 Kafka集群管理脚本配置教程 #### 1. 环境准备 为了确保Kafka集群能够正常运行，环境准备阶段至关重要。这包括安装Java、Zookeeper以及下载并解压Kafka二进制文件。 对于每台服务器上的操作如下所示： ```bash # 安装JDK sudo apt-get update && sudo apt-get install openjdk-8-jdk -y # 下载并设置Zookeeper wget https://archive.apache.org/dist/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz tar zxvf apache-zookeeper-3.7.0-bin.tar.gz mv apache-zookeeper-3.7.0 /usr/local/zookeeper # 设置环境变量 echo 'export ZOOKEEPER_HOME=/usr/local/zookeeper' >> ~/.bashrc echo 'export PATH=$PATH:$ZOOKEEPER_HOME/bin' >> ~/.bashrc source ~/.bashrc # 同样地为Kafka做相同的操作... ``` #### 2. 配置zoo.cfg 文件 编辑`$ZOOKEEPER_HOME/conf/zoo.cfg`来指定数据目录和其他必要的参数: ```properties tickTime=2000 dataDir=/var/lib/zookeeper/ clientPort=2181 initLimit=5 syncLimit=2 server.1=zookeeper1:2888:3888 server.2=zookeeper2:2888:3888 server.3=zookeeper3:2888:3888 ``` #### 3. 修改Kafka Broker配置 针对每个Broker实例，在其对应的`config/server.properties`中调整以下属性以适应多节点部署需求[^1]: ```properties broker.id=${BROKER_ID} # 替换成实际ID, 如0,1,2等 listeners=PLAINTEXT://${HOST_NAME}:9092 # 使用主机名或IP地址替换${HOST_NAME} advertised.listeners=PLAINTEXT://${PUBLIC_HOST_NAME}:9092 # 对外暴露监听器 log.dirs=/tmp/kafka-logs-${BROKER_ID} # 日志存储路径 num.partitions=3 # 默认分区数 default.replication.factor=3 # 副本因子数量 offsets.topic.replication.factor=3 # Offsets主题副本数目 transaction.state.log.replication.factor=3 transaction.state.log.min.isr=2 # ISR最小成员数 controller.quorum.voters=1@kafka1:9093,2@kafka2:9093,3@kafka3:9093 # Controller选举机制 ``` #### 4. 创建Topic Shell Script 创建一个简单的shell script用于批量创建topics，可以简化日常管理工作量。 ```bash #!/bin/bash for i in {1..5}; do kafka-topics.sh --create \ --topic test-topic-$i \ --partitions 6 \ --replication-factor 3 \ --if-not-exists \ --bootstrap-server localhost:9092; done ``` 以上就是关于尚硅谷版本下如何编写和应用Kafka集群管理及配置的相关指导说明。通过上述步骤可实现基本的功能搭建与维护工作流。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值