kafka_2.11-0.11.0.0在控制台kafka-console-consumer消费者消费数据，参数zookeeper 和 bootstrap-server问题

最新推荐文章于 2025-01-03 15:55:23 发布
原创 最新推荐文章于 2025-01-03 15:55:23 发布 · 1.4k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #kafka

本文详细描述了在使用kafka-console-consumer消费数据时，遇到使用bootstrap-server参数无法读取数据的问题，并给出了通过删除Zookeeper中kafka相关内容并重新安装kafka集群的解决方案。同时，提供了创建topic和使用bootstrap-server参数的具体命令。

1.问题：

在控制台kafka-console-consumer消费者消费数据，参数zookeeper 和 bootstrap-server遇到问题，使用zookeeper可以消费数据，使用bootstrap-server不能读取数据。

我的zookeeper版本 是3.4.10，kafka版本是kafka_2.11-0.11.0.0。

2.解决：

删除zookeeper里面的kafka内容：rmr /consumer ,  rmr  /brokers等，重装kafka集群

  • 创建topic的命令如下

kafka-topics.sh --create --topic test --replication-factor 1 --partitions 3 --zookeeper qf01:2181

  • 使用bootstrap-server参数的命令如下

kafka-console-consumer.sh --bootstrap-server qf03:9092 --topic test --from-beginning

 

kafka-console-consumer 参数 --zookeeper 不可用 与 The coordinator is not available的问题
u013547195的专栏
02-24 4569
事情起因是这样的。我们环境需要用到kafka，现在都是使用容器化的不是，大佬就找了个github星最多docker-kafka连接给我，建议我用这个来搭建。我们开发环境已经有了zk，所以就让我用kafka连上面的zk。kafka搭起来了，生产者可以生产。但是消费者始终是消费不到消息。使用tcpdump抓包也可以确认，消息已经发送到kafka。但是消费者始终无法消费。猜想是不是那个步骤执行错了。所以...
Linux环境部署kafka_2.11-0.11.0.0和zookeeper-3.4.10
DreamsArchitects的博客
08-18 1410
Linux环境下安装部署zookeeper、kafka目录zookeeper和kafka压缩包_linux安装zookeeper解压修改zookeeper配置文件启动zookeeper关闭zookeeper安装akfka解压修改kafka配置文件启动kafka关闭kafkaKafka常用命令行创建主题：查看主题：查看主题详情：生产消息：消费消息： zookeeper和kafka压缩包_linux kafka需要依赖zookeeper，kafka内部自带的也有zookeeper，但是我们使用自己安装的zook
kafka-console-consumer.bat 报错 zookeeper is not a recognized option
zajbetterme的博客
11-26 4672
1.开启kafka的broker 在kafka安装目录下启动cmd：.\bin\windows\kafka-server-start.bat  .\config\server.properties 2.生产者生成topic的数据 3.消费者获取该topic的数据 查看别人博客发现将命令改为下面写法，证实可行 kafka-console-consumer.bat  --bootst...
Kafka~kafka-console-consumer.sh
feizuiku0116的博客
05-25 1833
1.参数 |参数|描述| |–bootstrap-server|连接的Kafka Broker主机名称和端口号| |–topic|操作的topic名称| |–from-beginning|从头开始消费| |–group|指定消费者组名称| 2.实例 消费first主题中的数据 bin/kafka-console-consumer.sh \ --bootstrap-server node1:9092 \ --topic first 把主题中所有的数据都读取出来（包括历史数据） bin/kafka-c
kafka+zookeeper环境配置（linux环境单机版）
u013244038的博客
12-15 3968
一.zookeeper下载与安装 1）下载 $ wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz 2）解压 tar zxvf zookeeper-3.4.6.tar.gz 3）配置 cd zookeeper-3.4.6cp -rf conf/z
Windows下kafka生成消费者报错：Missing required argument “[zookeeper]“
weixin_43788143的博客
12-03 4812
.\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic kafka-test-topic --from-beginning 上面的语句就是在Windos下 kafka生成消费者的命令行，这命令行是我从百度上找的，但一直是报错。仔细看报错是缺少一个参数–zookeeper，然后我W3Cshool关于kafka的教程上看到Linux系统下生成消费者的命令行。如下： bin/kafka-console-consumer.sh.
kafka_2.11-2.2.2.tgz
07-07
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic my-topic --from-beginning ``` `--from-beginning`参数表示从头开始消费。 十、管理Kafka Kafka提供了丰富的命令行工具，如`kafka-...
kafka_2.11-0.11.0.3.zip
11-28
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning ``` 九、监控与管理 Kafka提供了命令行工具用于查看主题信息、管理消费者组等。例如，列出所有主题： ```bash ./...
kafka_2.12-2.4.1.zip
05-15
- 使用`./kafka-console-producer.sh --broker-list localhost:9092 --topic test`和`./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning`进行消息的生产和消费，操作...
最新版linux kafka_2.12-2.5.0.tgz
04-18
5. 创建主题：`./kafka_2.12-2.5.0/bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic my-topic` 6. 生产和消费消息：使用Kafka提供的命令行工具或...
Kafka常用命令之kafka-console-consumer.sh
诚的博客
08-14 4184
./kafka-console-consumer.sh --bootstrap-server localhost:2181 --topic testTopic --from-beginning 注意：Kafka 从 2.2 版本开始将 kafka-topic.sh 脚本中的 −−zookeeper 参数标注为 “过时”，推荐使用 −−bootstrap-server 参数。若读者依旧使用的是 2.1 及以下版本，请将下述的 --bootstrap-server 参数及其值手动替换为 --zookeepe.
kafka 2.11-0.11集群安装、简单命令使用
qq_22049773的博客
01-20 794
安装包下载 http://kafka.apache.org/downloads.html 安装 解压安装包 tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/opt/kafka-0.11/ 修改解压后的文件名称 mv kafka_2.11-0.11.0.0/ kafka 在/opt/module/kafka 目录下创建 logs 文件...
Kafka自带zookeeper---集群安装部署
qq_37647812的博客
09-18 1408
（不挂起），用于在系统后台不挂断地运行命令，退出终端不会影响程序的运行。以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个。文件，启动过程过程中没有报错，且有以下信息输出，说明启动成功。：该节点负责该分区的所有的读和写，每个节点的。默认情况下，删除是标记删除，没有实际删除这个。的节点列表，也就是活着的节点并且正在同步。文件保留的最长时间，超时将被删除，默认。都启动成功后，再分别启动三台机器的。：备份的节点列表，无论该节点是否是。，生成和消费信息正确，不受任何影响。
kafka常用命令
Java和大数据等相关的技术交流分享，欢迎关注交流
10-12 246
进入kafka安装文件bin目录,可以使用命令操作kafka, 常用命令如下(持续更新): 说明: zoo1为kafka地址对应的hostname --topic列表./kafka-topics.sh -list -zookeeper zoo1:2181 --创建topic(副本数2, 分区数3)./kafka-topics.sh --create --zookeeper zoo1:2181 ...
kafka使用以及基于zookeeper集群搭建集群环境
Java_fenxiang的博客
01-03 740
一、环境介绍zookeeper下载地址：https://zookeeper.apache.org/releases.html kafka下载地址：https://kafka.apache.org/downloads192.168.142.129 apache-zookeeper-3.8.4-bin.tar.gz ...
zookeeper 和 kafka 搭建集群
m0_55380752的博客
05-13 1136
zookeeper 集群 和 kafka 集群搭建步骤
java kafka zookeeper_kafka consumer无法连接到其zookeeper
weixin_32451529的博客
02-23 1032
我在ec2实例上以独立模式运行kafka和zookeeper . 我在其上创建了一个名为dev_spark1的主题 . 但是当我尝试从命令行运行使用者时，为命令提供以下错误：./bin/kafka-console-consumer.sh --zookeeper 172.31.8.226:9092 --topic dev_spark1Exception in thread "main" org.I0...
kafka使用kafka-console-consumer.sh和kafka-console-producer.sh生产消费数据样例
u011250186的博客
08-15 1188
kafka使用kafka-console-consumer.sh和kafka-console-producer.sh生产消费数据样例
^C[root@node01 kafka_2.11-0.10.0.0]# bin/kafka-console-producer.sh --broker-list node01:9092,node02:9092,node03:9092 --topic test 卡在这不动了
最新发布
03-15
<think>好的，我现在需要解决用户提出的问题：在使用kafka-console-producer.sh时命令执行卡住，没有输出。用户的环境是Kafka 0.10.0，涉及broker-list、topic以及可能的配置问题。让我一步步分析可能的原因和解决方法。 首先，回忆Kafka生产者工作的基本流程。控制台生产者脚本kafka-console-producer.sh用于向指定主题发送消息。当命令卡住，可能是在连接Broker、发送消息或等待输入时出现问题。根据用户提到的版本0.10.0，这可能是一个比较旧的版本，可能存在兼容性或配置问题。 接下来，考虑网络连接问题。用户是否正确指定了broker-list参数？例如，是否正确使用了IP和端口，如localhost:9092。如果Broker地址错误或端口被防火墙阻挡，生产者无法建立连接，可能会卡住。需要检查Broker是否在运行，使用telnet或netstat验证端口可达性。 然后是主题配置。目标主题是否存在？如果生产者尝试发送到一个不存在的主题，而Broker配置为自动创建主题（auto.create.topics.enable=true），可能会延迟创建，导致卡顿。或者用户可能没有权限创建主题，导致阻塞。需要检查主题是否存在，或者尝试手动创建主题后再测试。 生产者配置方面，Kafka 0.10.0的生产者可能需要特定的配置参数。例如，旧版本可能使用broker-list而非bootstrap-server，但用户已经用了broker-list，这没问题。不过需要确认参数是否正确，比如是否有拼写错误。另外，消息大小是否超过限制？比如max.partition.fetch.bytes默认1MB，如果消息太大，可能被阻塞或丢弃[^4]。但控制台生产者通常是逐行发送，单条消息过大可能性较低，但也不排除。 版本兼容性也是一个因素。用户是否混合使用了不同版本的组件？比如生产者脚本是否与Broker版本一致？Kafka 0.10.0的生产者可能在某些配置上与Broker不兼容，尤其是在升级过程中。不过用户提到的是0.10.0的Broker，所以如果生产者脚本也是同一版本，可能没问题。但如果有其他中间件或拦截器，如引用[2]提到的拦截器在0.10引入，可能存在配置问题。 另外，检查输入方式。控制台生产者默认从标准输入读取，用户是否在输入内容后没有按Enter发送？或者是否需要使用Ctrl+D结束输入？如果脚本在等待输入，用户可能误以为卡住，而实际上是在等待输入。需要确认用户是否在正确输入消息。 日志和错误信息也很重要。是否有Broker端的日志显示连接尝试？或者生产者是否有输出错误，比如超时、无法连接等。用户可能需要增加调试日志，例如在命令中添加环境变量开启详细日志，如KAFKA_LOG4J_OPTS="-Dlog4j.configuration=file:log4j.properties"。 另外，Kafka 0.10.0可能存在的已知问题。查看官方文档或社区是否有类似问题，是否有补丁或升级建议。例如，引用[3]提到升级到0.11.0的注意事项，但用户可能无法直接升级，但可以确认是否是版本特定问题。 最后，测试步骤建议：检查Broker状态和主题是否存在，验证网络连接，简化生产者命令，尝试最小配置，查看日志，逐步排查可能因素。</think>### Kafka控制台生产者命令卡住的原因分析与解决方法 #### 一、常见原因分析 1. **Broker连接问题** - 如果`broker-list`参数配置错误（如IP/端口错误），生产者无法与Broker建立连接，导致命令卡住。 - 检查Broker是否正常运行： ```bash telnet <broker-ip> <broker-port> ``` - 示例命令应为： ```bash kafka-console-producer.sh --broker-list localhost:9092 --topic test-topic ``` 2. **主题配置问题** - 目标主题未创建，且Broker未启用自动创建（`auto.create.topics.enable=false`），导致生产者阻塞等待主题初始化[^3]。 - 手动创建主题： ```bash kafka-topics.sh --create --zookeeper localhost:2181 --topic test-topic --partitions 1 --replication-factor 1 ``` 3. **生产者配置问题** - **消息大小限制**：单条消息超过`max.partition.fetch.bytes`（默认1MB）会导致阻塞或失败。 - **超时设置**：若`request.timeout.ms`设置过短，可能导致生产者反复重试。 - 尝试简化配置： ```bash kafka-console-producer.sh --broker-list localhost:9092 --topic test-topic --property "max.request.size=1048576" ``` 4. **输入等待状态** - 控制台生产者默认从标准输入读取数据，若未输入内容，命令会显示“卡住”（实际是等待输入）。 - 输入测试消息后按回车发送，或使用文件重定向： ```bash echo "test message" | kafka-console-producer.sh --broker-list localhost:9092 --topic test-topic ``` #### 二、排查步骤 1. **检查Broker状态** - 确认Broker进程是否运行： ```bash ps aux | grep kafka.Kafka ``` - 查看Broker日志（`logs/server.log`）是否有连接错误。 2. **验证网络连通性** - 使用`nc`或`telnet`测试Broker端口是否可达： ```bash nc -zv localhost 9092 ``` 3. **启用生产者调试日志** - 添加日志配置参数： ```bash KAFKA_LOG4J_OPTS="-Dlog4j.configuration=file:/path/to/log4j.properties" kafka-console-producer.sh ... ``` #### 三、版本兼容性建议 Kafka 0.10.0版本较旧，存在已知稳定性问题，建议升级至0.11.0或更高版本（无需同时升级Broker）。若需保留旧版本，可尝试以下操作： - 使用`acks=0`配置跳过消息确认（可能丢失数据）： ```bash kafka-console-producer.sh --broker-list localhost:9092 --topic test-topic --property "acks=0" ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值