记一次模拟生成数据发到kafka的bug

最新推荐文章于 2025-08-15 23:13:53 发布
原创 最新推荐文章于 2025-08-15 23:13:53 发布 · 1.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #kafka #spring boot

本文介绍了一种在使用Kafka时遇到的“unknownnode”错误，并提供了详细的解决方案。通过在hosts文件中添加指定的IP地址和主机名映射，可以有效解决此问题。此外，还介绍了如何通过设置debug日志级别来查看错误详情。

在服务器运行jar包模拟生成数据，然后在本地IDEA中判断数据类型发送到kafka中，运行出错，提示：unknown node1 unknown node2 unknown node3
解决办法：
在C:\WINDOWS\system32\drivers\etc\hosts文件中添加如下信息：
192.168.1.31 node1
192.168.1.32 node1
192.168.1.33 node1
附：查看错误方法（在application.paoperties中添加logging.level.root=debug）

Kafka 设计之生产者与消费者
流华追梦的专栏
03-07 1468
接上一篇。本文将介绍 Kafka 设计中的生产者与消费者，通过对官方文档的阅读，来加深对 Kafka 生产者和消费者设计的理解。
（二）Kafka 安全之使用 SSL 的加密和身份验证
流华追梦的专栏
06-19 1348
接上一篇《（一）Kafka 安全之使用 SSL 的加密和身份验证》，本文从 2.2 小节开始。
KafkaTestDataProducer:产生随机消息并发送到 kafka
06-19
KafkaTestDataProducer 产生随机消息并发送到 kafka。 用法：java -jar <jarname> <topic> <brokerIds> <hasMultiplePartitions> <# of Messages> <Start> 示例：java -jar KafkaProducer-0.0.1-SNAPSHOT-jar-with-dependencies.jar test localhost:9092 true 200000 1
向kafka送数据windows生产者demo
qq_36764646的博客
10-31 407
#include &lt;stdio.h&gt; #include &lt;signal.h&gt; #include &lt;string.h&gt; #include &lt;inttypes.h&gt; #include "rdkafka/rdkafka.h"  static int run = 1;  static void stop(int sig) {            run =...
轻松通关Flink第31讲：Kafka 模拟数据生成和发送
sucaiwa的博客
03-29 925
这一课时我们学习了使用 Flink 进行数据清洗 ETL 的过程，在实际业务中数据的清洗是必不可少的部分，你可以根据业务需要采用不同的清洗策略，将数据存储到新的数据库中。
使用Windows命令行简单的演示Kafka的消息创建与发送
qq_39720263的博客
11-08 3899
基本过程为： 创建一个topic 创建一个消息消费者 创建一个消息生产者，并发送消息   创建一个Topic cmd切换至kafka目录下，输入一下语句。 .\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions ...
Kafka 是如何建模数据的？
Miracle
07-12 364
Kafka 是一个高度可扩展的消息系统，具有优秀的水平可扩展性和高吞吐率的特点，因而被许多公司所青睐并得到广泛的使用。本文首先介绍 Kafka 诞生的时代背景以及诞生之初的设计目标，随后回答 Kafka 作为一个消息系统是如何建模数据的，最后讲解 Kafka 作为一个软件系统的架构，为有志于深入了解的 Kafka 的同学做一个简单的框架梳理。
一场 Kafka CRC 异常引发的血案
dsgdauigfs的博客
09-03 1344
客户的生产环境突然在近期间歇式的收到了Kafka CRC的相关异常，异常内容如下报错没有规律性，有可能半天都不出现一次，也有可能一小时出现2、3次而这个报错会导致Kafka的Consumer hang死，即无法继续消费后续的消息，只能手动重启Consumer才能继续，是非常严厉的报错，导致生产不可用。
学习 Kafka，提升大数据项目开发能力
最新发布
AI天才研究院
08-15 838
Kafka 是应对实时数据洪流的分布式消息系统引擎，高吞吐、低延迟、高可靠、可扩展是其核心价值。Topic（逻辑流）、Partition（并行子流）、Producer（写入者）、Consumer & Consumer Group（组内并行消费）、Broker（节点）、Replica (副本，保证可靠)、ISR（同步副本集）。日志/指标采集、微服务解耦、流处理、批流一体数据湖/仓。平衡吞吐、延迟、可靠性（生产者acksbatch.size、消费者fetchpoll。
现场血案：Kafka CRC 异常
youyou263的博客
05-16 1333
现场童鞋说客户的研发环境突然在近期间歇式的收到了CRC的相关异常，异常内容如下报错完全没有规律性，有可能半天都不出现一次，也有可能一小时出现2、3次而这个报错会导致Kafka的Consumer hang死，即无法继续消费后续的消息，只能手动重启Consumer才能继续，是非常严厉的报错，会直接导致生产不可用另外，我们部署的供内部云平台组建使用的Kafka也会出现这种报错。
第三十一篇：Kafka 日志数据清洗和发送
微信搜：import_bigdata，大数据领域硬核原创作者
07-24 959
你好，欢迎来到第 31 课时，本课时我们主要讲解“Kafka 日志数据清洗和发送”。 第 29 课时讲过，在计算 PV 和 UV 的过程中关键的一个步骤就是进行日志数据的清洗。实际上在其他业务，比如订单数据的统计中，我们也需要过滤掉一些“脏数据”。 所谓“脏数据”是指与我们定义的标准数据结构不一致，或者不需要的数据。因为在数据清洗 ETL 的过程中经常需要进行数据的反序列化解析和 Java 类的映射，在这个映射过程中“脏数据”会导致反序列化失败，从而使得任务失败进行重启。在一些大作业中，重启会导致任务不稳定
Kafka | 模拟生产者写入消息
俗人
09-24 633
模拟生产者写入消息到Kafka import java.util.Properties import java.util.concurrent.{Executors} import com.sf.gis.commons import com.sf.gis.commons.utils.{DateTimeUtil, RandomUtil} import org.apache.kafka.clients.producer.{KafkaProducer, ProducerRecord} import o.
使用java编写kafka生产者打成jar包，将windows下的文件写到kafka的主题中。
alisa_Ge的博客
04-05 756
1.新建maven工程——mykafka 2.配置pom.xml文件。 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</maven.
Kafka模拟实现（用于自我测试环境）
qq_43688472的博客
01-14 2315
1.模拟实验 [root@yws85 ~]# cd /opt/software/kafka/ [root@yws85 kafka]# bin/kafka-topics.sh \ &gt; --create \ &gt; --zookeeper 192.168.0.85:2181,192.168.0.86:2181,192.168.0.87:2181/kafka \ &gt; --replicati...
第二十三篇：Mock Kafka 消息并发送
微信搜：import_bigdata，大数据领域硬核原创作者
07-24 1412
你好，欢迎来到第 23 课时，本课时主要讲解 Kafka 的一些核心概念，以及模拟消息并发送。 大数据消息中间件的王者——Kafka 在上一课时中提过在实时计算的场景下，我们绝大多数的数据源都是消息系统。所以，一个强大的消息中间件来支撑高达几十万的 QPS，以及海量数据存储就显得极其重要。 Kafka 从众多的消息中间件中脱颖而出，主要是因为高吞吐、低延迟的特点；另外基于 Kafka 的生态越来越完善，各个实时处理框架包括 Flink 在消息处理上都会优先进行支持。在第 14 课时“Flink Exactl
Kafka（第四节）使用Kafka模拟实时数据看板项目
hwq317622817的博客
01-19 1319
实时数据看板项目 实时数据看板 简单说来，实时数据看板就是要将实时产生的业务数据，收集起来进行一定分析将分析结果以或文字或图表的形式展示出来 需求分析 本文模拟一个用于订单数据分析的实时数据看板 1、需要一个部署在linux服务器上的jar程序来模拟产生实时的订单数据； 2、需要一个工具来采集这些实时的订单数据，本文将通过jar程序将数据写入到一个log文件中，使用flume来采集log文件中的数据，既然是要做实时分析，那么flume的sink就不能是hdfs或hive的，因为hdfs需要依托hive才能做
模拟业务场景往kafka推送消息的方法
重剑无锋，大巧不工
08-11 3259
项目最近需要接入一个推送功能，之前都是用云端内部接口模拟推送诊修消息的，但是实际触发场景是：诊修服务会将消息下发到kafka充当生产者，然后kafka推送给下游云端进行消费，所以，要模拟生产者往kafka推送消息，并且还要模拟批量推送的场景，以便掌握批量推送诊修消息的性能是否满足正常要求（每秒20~50条左右的强度）.........
EMQ X Enterprise (MQTT Broker) + Apache Kafka 构建高性能物联网消息处理后台
u010074988的博客
05-25 1835
背景 在各类物联网项目中，设备产生的消息不仅仅作用于设备之间，还需要供业务系统使用以实现如安全审计、流量计费、数据统计、通知触发等功能，类似很容易通过以下原型系统完成： 该原型中需要在 EMQ X 上维护多个数据通道，以供每个业务环节按照各自需求从 EMQ X 中获取消息数据。这种解决方案的问题在于： 每个业务需要与 EMQ X 建立数据通道，数据通道的建立与保持需要额外的资源开销，数据同步速度严重影响 EMQ X 高速消息交换； 随着业务增长，每次新增业务环节都需要牵动整个系统变更； 由于每
复习笔记5-nginx、rabbitmq、redis、jenkins、Docker、ELK、日志、Hadoop
lc95270的博客
08-07 2850
RabbitMq 几种工作模式 http://127.0.0.1:15672 guest/guest 消费模式 1、自动模式-消费者从消息队列获取消息后，服务端就认为该消息已经成功消费。 2、手动模式-消费者从消息队列获取消息后，服务端并没有标记为成功消费，消费者成功消费后需要将状态返回到服务端 1.简单模式：一个生产者，一个消费者（声明队列，往里面塞值取值即可） 2. work模式：一个生产者，多个消费者，每个消费者获取到的消息唯一。（声明队列，往里面塞值取值即可）且1.2都是一个消息只能被消费一
Kafka工具包：Windows与Unix下的压缩版本
- 数据生成工具：用于测试和模拟数据流，以便在不依赖真实数据的情况下测试应用程序。 工具的跨平台支持意味着它们必须考虑到不同操作系统之间的差异，并提供相应的接口和命令语法。例如，Windows系统使用.exe可...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值