kafka的群起和基本命令

最新推荐文章于 2024-08-12 17:29:27 发布
最新推荐文章于 2024-08-12 17:29:27 发布
阅读量1.7k 收藏
点赞数 1
分类专栏： Kafka 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_58027884/article/details/124308622
版权
本文详细介绍了如何使用群启的Zookeeper和Kafka，包括启动服务、管理数据列表、创建与删除主题、以及生产者和消费者模式的启动。涵盖了关键命令及其参数，适合初学者和进阶者参考。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  1. 群启zookeeper：bin/zkserver.sh start

  2. 群起kafka:bin/kafka-server-start.sh -daemon config/server.properties

  3. 查看数据列表：bin/kafka-topics.sh --list --zookeeper master:2181

  4. kafka主题（增删改查）：

    1. 增加topic：

    bin/kafka-topics.sh --create --zookeeper slave1:2181 --topic first --partitions 2 --replication-factor 2

    first:主题名

    –partitions 2：分区数（2）

    –replication-factor： 复制数

    1. 删除topic：

      bin/kafka-topics.sh --delete --zookeeper master:2181 --topic first

    2. 查询topic

      bin/kafka-topics.sh --describe --zookeeper master:2181 --topic first

  5. 启动生产者模式：

    bin/kafka-console-producer.sh --broker-list master:9092 --topic first

    –broker-list：指定使用的broker

  6. 启动消费者模式：

    bin/kafka-console-consumer.sh --bootstrap-server master:9092 --topic first --partition 0 --consumer-property group.id yu --from-beginning

    –bootstrap-server : 生产者的主机，老版本是 --zookeeper

    –topic: 指定消费哪一个topic。

    –partition：指定消费哪一个分区。

    –consumer-property group.id :进行分组消费

    –from-beginning：从头消费（建立第一个消费者可以使用，同组第一个以后的不能使用）

Kafka 分布式消息队列企业级实战
悦分享
09-20 1530
Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。传统消息队列的应用场景：使用消息队列的好处：1）解耦允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。2）可恢复性系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。3）缓冲有助于控制和优化数据流经过系统的速度，解决生产消息和消费消息的处理速度不一致的情况。
大数据最佳实践-kafka
program哲学
04-16 6455
kafka各个重难点大全，超详细
kafka群起脚本
weixin_42530835的博客
03-23 293
（1）在/root/bin目录下创建脚本kf.sh vim kf.sh （2）脚本内容 #!/bin/bash case $1 in "start"){ for i in ip1 ip2 ip3 do echo " --------启动 $i Kafka-------" ssh $i "/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.pr
Kafka群起脚本
weixin_43558205的博客
02-21 251
Kafka群起脚本 添加群启脚本配置文件 vim /usr/bin/start-kafka.sh 配置内容如下： #!/bin/bash case $1 in "start"){ for i in hadoop102 hadoop103 hadoop104 do echo $"INFO:=========== $i kafka 正在启动 ============" ssh $i "/opt/module/kafka/bin/kafka-server-start.sh -dae
大数据集群搭建篇：Hadoop、Spark、ZooKeeper、kafka集群搭建
犇犇
06-07 1214
一、创建虚拟机安装CentOS 1.1、安装CentOS 1、使用课程提供的CentOS 6.5镜像即可，CentOS-6.5-i386-minimal.iso。 2、创建虚拟机：打开Virtual Box，点击“新建”按钮，点击“下一步”，输入虚拟机名称为spark1，选择操作系统为Linux，选择版本为Red Hat，分配1024MB内存，后面的选项全部用默认，在Virtual Disk File location and size中，一定要自己选择一个目录来存放虚拟机文件，最后点击“create”按钮
【实时数仓】用户行为日志采集模块单机模式部署，Nginx介绍、安装和配置，采集模块集群部署并使用Nginx进行反向代理
weixin_43923463的博客
12-10 1113
模拟日志产生，将生成的日志信息发送给hadoop101，8081端口的日志采集服务，日志采集服务接收到产生的日志信息，打印到控制台，落盘，最后发送到kafka主题中，kafka消费者消费到数据，打印到控制台。 这时出现一个问题，如果当一台日志采集服务器忙不过来时，就需要添加多台机器（集群），通过Nginx转发请求，如下图。 正向代理类似一个跳板机，代理访问外部资源。比如：我是一个用户，我访问不了某网站，但是我能访问一个代理服务器，这个代理服务器，它能访问那个我不能访问的网站，于是我先连上代理服务器，告诉它
shell编程：集群多主机一键启停服务脚本
m0_60125201的博客
08-12 823
shell编程解决服务多主机一键启动脚本
kafka的安装和群起脚本
qq_44739500的博客
01-06 441
Kafka的安装 1 集群的规划 hadoop02 hadoop03 hadoop04 zk zk zk kafka kafka kafka 先启动zk，然后启动kafka。 2 上传解压 1）上传到服务器 [code1997@hadoop02 software]$ tar -zxvf kafka_2.11-0.11.0.0.tgz 2）复制到/opt/module目录下 [code1997@hadoop02 kafka]$ mv kafka_2.11
Kafka和Zookeeper的（群起/群关）集群脚本
攻城狮Kevin
12-18 2484
准备条件：三台服务器，主机名分别为hadoop100、hadoop101、hadoop102 1. Kafka的群起集群脚本 2. Kafka的群关集群脚本 3. Zookeeper的群起集群脚本 4. Zookeeper的群关集群脚本 5. 群起Kafka和Zookeeper 6. 群关Kafka和Zookeeper 1. Kafka的群起集群脚本 （1）在~/bin/目录下创建...
Zookeeper和Kafka的群起/群关脚本
weixin_45568872的博客
02-23 418
初始使用Zookeeper时，由于集群配置了三台机器，每次启动都要一台一台输入命令启动，觉得要是和Hadoop一样可以群起多好，直到后来配置了Kafka，发现又是得一台一台输入命令启动，好烦~~ 在查看了Hadoop的启动命令源码后，想一想自己可不可以模仿出一个命令来实现群起Zookeeper和Kafka，如下为Hadoop的启动命令源码 [root@cos100 sbin]# vim start...
数据仓库 — 07_Kafka的安装与部署（Kafka命令行操作指令、Kafka集群群起脚本、压力测试、节点数量计算、hadoop_zookeeper_flume_kafka群起脚本、默认端口总结）
文泽路小男孩的博客
05-13 407
文章目录1 Kafka的安装与配置2 Kafka命令行操作2.1 查看当前服务器中的所有topic2.2 创建topic2.3 删除topic2.4 发送消息2.5 消费消息2.6 查看某个topic的详情3 Kafka群起脚本4 项目经验——Kafka压力测试4.1 Kafka压测4.2 生产者压测 producer4.3 消费者压测 consumer5 项目经验——Kafka机器数量计算 欢迎访问笔者个人技术博客：http://rukihuang.xyz/ 学习视频来源于尚硅谷，视频链接：尚硅谷大数据项
群起zookeeper，kafka的脚本
isea_you's blog
12-12 1461
目录 群起，关zookeeper脚本： 群起，关kafka脚本： 群发命令的脚本： 近期，在玩kafka，kafka是依赖于zookeeper的，每次都要去各个节点上启动zookeeper，于是就尝试写了一个shell脚本来实现zookeeper和kafka的群起和群关 群起，关zookeeper脚本： #!/bin/bash case $1 in "start"){ for ...
KafKa碰到的问题
Mr_394的博客
06-02 216
1.启动zookeeper内存不足 修改bin/zookeeper-server-start.sh中的参数，来减少内存的使用，将下图中的-Xmx512M -Xms512M改小。 2.启动和关闭命令 1）启动zookeeper bin/zookeeper-server-start.sh config/zookeeper.properties 2）关闭zookeeper bin/zookeeper-server-stop.sh config/zookeeper.properties 3）启动k
第四步：kafka中建立kafka-topics 源代码内幕解密
段智华的博客
05-03 5374
第四步：kafka中建立kafka-topics 源代码内幕解密 kafka-topics.sh --create 脚本命令执行create topic语句，进入到kafka.admin.TopicCommand类，main方法中执行createTopic方法，然后一步一步的跟踪下去，topic在zooker中持久化保存topic的元数据。从而建立一个topic主题   1、kafka-t
Kafka集群部署及命令行操作
张鑫的博客
08-07 3538
前提是：zookeeper集群已经搭建完毕具体步骤见：https://blog.youkuaiyun.com/student__software/article/details/81486769 1、集群规划 hadoop102                                 hadoop103                          hadoop104 zk         ...
【Kafka】集群群起、停止脚本
Aimo_哈撒的博客
07-23 1506
前提：已配置好SSH服务器免密登录 1.群起脚本： #Kafka群起脚本 #!/bin/bash #定义linux集群 brokers="hadoop102 hadoop103 hadoop104" #定义kafka目录 KAFKA_HOME="/opt/module/kafka" KAFKA_NAME="Kafka" echo "============== 开始启动Kafka...
kafka常用基本命令
最新发布
01-17
### Kafka 基本命令及使用方法 #### 启动 Kafka 服务 为了启动 Kafka 服务器，可以执行如下脚本： ```bash bin/kafka-server-start.sh config/server.properties & ``` 这条命令会以后台进程的方式运行 Kafka 服务器，并加载配置文件 `server.properties` 中定义的各项设置[^2]。 #### 列出所有 Topic 要查看当前 Kafka 集群中存在的主题列表，可利用以下指令： ```bash bin/kafka-topics.sh --list --zookeeper localhost:2181 ``` 此命令通过连接到指定 Zookeeper 实例来获取并显示所有的主题名称[^3]。 #### 创建新 Topic 创建一个新的 Kafka 主题可以通过下面的命令实现： ```bash bin/kafka-topics.sh --create --topic my-topic-name \ --partitions 3 --replication-factor 2 \ --partitions`) 和副本因子 (`--replication-factor`) 参数以控制该主题的数据分布情况。 #### 删除现有 Topic 当不再需要某个特定的主题时，可通过下列方式将其删除： ```bash bin/kafka-topics.sh --delete --topic my-old-topic \ --zookeeper localhost:2181 ``` 请注意，在某些版本中可能不会立即物理移除数据；而是标记为已删除状态等待清理策略生效。 #### 描述 Topic 细节 对于想要深入了解某主题的具体属性（比如分区详情），则应该采用描述功能： ```bash bin/kafka-topics.sh --zookeeper localhost:2181 ``` 这将提供关于所选主题更详细的元数据信息，如领导者节点、跟随者等角色分配状况。 #### 使用消费者读取消息 最后，若希望从指定主题消费消息，则需借助于专门设计用于测试目的简单工具——Kafka 控制台消费者客户端： ```bash bin/kafka-console-consumer.sh --bootstrap-server broker-list \ --from-beginning --topic target-topic ``` 其中 `broker-list` 应替换为目标集群中的实际地址列表字符串形式表示。而选项 `--from-beginning` 表明将从最早的消息开始接收而不是仅限最新产生的记录[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值