记录一下Kafka碰到的问题

最新推荐文章于 2024-09-15 08:18:46 发布
原创 最新推荐文章于 2024-09-15 08:18:46 发布 · 置顶 · 373 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Kafka

本文记录了作者在工作中接触Kafka时遇到的问题，主要探讨了`kafka.javaapi.producer.Producer`和`kafka.clients.producer.KafkaProducer`的区别。作者指出，KafkaProducer是新版本的API，提供了指定消息key和目标服务器发送数据的功能，性能优于旧版的Producer。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

也是最近工作需要 开始接触kafka

碰到了一个问题 

    kafka.javaapi.producer.Producer

    kafka.clients.producer.KafkaProducer

一开始在网上找了些资料 ,用的是Producer,然后工作中需要用到KafkaProducer

查了一下它俩的区别,KafkaProducer是新版本更新的 ,能指定value对应的key,还能指定给某台服务器发送数据.

Producer是老版本的 ,速度比KafkaProducer慢


Apache Kafka Connect接口存在任意文件读取漏洞与SSRF漏洞CVE-2025-27817
nnn2188185的博客
06-16 462
微信公众号搜索：南风漏洞复现文库该文章 南风漏洞复现文库 公众号首发Apache Kafka 是一个分布式的流式数据平台，可以用于构建实时的数据管道和流式应用程序。
《Kafka系列》Kafka常见问题处理记录
https://blog.datasource.space
03-28 9854
1.kafka创建topic失败， Replication factor: 1 larger than available brokers: 0; 2.服务器Cannot allocate memory; 3.Offset Explorer连接Kafka问题集合，(Timeout expired while fetching topic metadata),(Uable to find any brokers); 4.kafka数据到hudi丢失数据问题;
Apache Kafka 反序列化漏洞分析
JasaLee的博客
08-12 4902
Apache Kafaka 反序列化漏洞分析
Kafka反序列化RCE漏洞（CVE-2023-34040）
蚁景网安学院
11-03 994
Spring Kafka 是 Spring Framework 生态系统中的一个模块，用于简化在 Spring 应用程序中集成 Apache Kafka 的过程，记录 (record) 指 Kafka 消息中的一条记录。这一个漏洞所影响的组件其实是 Spring-Kafka，严格意义上来说并不算是 kafka 的漏洞，应该算是 Spring 的漏洞。
kafka_工作中遇到的问题
子龙修仙的博客
05-30 982
1. 启动报错VerifyErrorjava.lang.VerifyError: Uninitialized object exists on backward branch 146Exception Details: 网上说是jdk版本的问题，当前使用的版本是：jdk-8u11-linux-x64 上网重新下载一个：http://www.oracle.com/technetwork/java/j...
【总结笔记】kafka工作常见问题汇总
大数据研习社
10-24 646
没有禁用"自动创建topic"的功能 已经增加参数auto.create.topics.enable=false，否则任何人只要发数据给kafka，没有对应的topic都会自动创建，一旦生产者多了会乱套。 数据保留周期过短 已经修改为3天，log.retention.hours=72。默认是3小时，阿里云的破环境有时候网络出问题就得三小时，来不及消费的消息就没了。 节点有点少(一主一备，最小集...
Apache Kafka 漏洞 【CVE-2023-25194】说明及解决建议
EdwardWang_的博客
02-10 1万+
Apache Kafka 漏洞 【CVE-2023-25194】说明 及 解决建议
kafka面试常见问题
二狗子的博客
04-01 1381
Kafka负责平衡每个消费者组内的消息消费，确保每个分区只被组内的一个消费者消费。一个简单的方法是使用Kafka自带的命令行工具kafka-consumer-groups.sh来查看消费组的状态，包括每个分区的当前偏移量和消费者拉取的最新偏移量，以及两者之间的差异，这个差异就表示了堆积的消息数。消费者组内的每个消费者负责消费分配给它的分区消息，确保每条消息只被组内的一个消费者消费。增加消费者组实际上是在客户端代码中配置新的消费者实例，并为它指定一个新的消费者组ID。消费者组、消费者组与消费者之间的关系。
看完这篇Kafka，你也许就会了Kafka
热门推荐
AaronCao
01-13 19万+
Kafka学习 文章目录Kafka学习1. Kafka简介1.1 Kafka消费模式1.2 Kafka的基础架构1.3 Kafka的安装和使用2. Kafka高级2.1 工作流程2.2 文件存储2.3 生产者分区策略2.4 生产者ISR2.4.1 副本数据同步策略2.4.2 ISR(同步副本集)2.5 生产者ack机制2.6 数据一致性问题2.7 ExactlyOnce3. 消费者分区分配策略3.1 分区分配策略3.2 消费者offset的存储3.3 消费者组案例4. 高效读写&Zookeeper作
Kafka消息堆积问题排查
最新发布
Diligence is the mother of success.
09-15 1624
背景业务架构图根据 微服务重构：Mysql+DTS+Kafka+ElasticSearch解决跨表检索难题所描述，我们使用了Es解决微服务重构中遇到的Mysql库拆分问题，业务架构图如下所示：Kakfa消息堆积导致的数据一致性问题在下午14:15左右，收到用户反馈，短暂时间内，出现了业务数据一致性问题具体表现是：用户提交了一个页面操作，但是在查询接口里，没有返回最新的操作结果具体校验是：通过问题反...
StirngBoot+ELK+Kafka记录日志，超详细搭建过程！
01-20
【StirngBoot+ELK+Kafka记录日志】是一种高效、实时的日志收集、分析和展示解决方案，尤其适用于大型分布式系统。该系统通过整合SpringBoot应用的日志记录、Kafka的消息中间件、ELK(Elasticsearch、Logstash、Kibana...
【高危】 Apache Kafka 远程代码执行漏洞复现及攻击拦截 (CVE-2023-25194)
xsharkrasp的博客
06-09 2203
Apache Kafka是一个分布式数据流处理平台，可以实时发布、订阅、存储和处理数据流。Kafka Connect是一种用于在kafka和其他系统之间可扩展、可靠的流式传输数据的工具。攻击者可以利用基于SASLJAAS 配置和SASL 协议的任意Kafka客户端，对Kafka Connect worker 创建或修改连接器时，通过构造特殊的配置，进行JNDI 注入来实现远程代码执行。
漏洞预警|Apache Kafka 拒绝服务漏洞
LJQClqjc的博客
09-22 977
棱镜七彩安全预警
漏洞预警|Apache Kafka Connect JNDI注入漏洞
LJQClqjc的博客
02-16 728
棱镜七彩漏洞预警
【中危】Spring Kafka 反序列化漏洞 (CVE-2023-34040)
OSCS开源安全社区
08-25 1004
墨知是国内首个专注软件供应链安全领域的技术社区，社区致力于为国内数百万技术人员提供全方位的软件供应链安全专业知识内容，包括软件供应链安全技术、漏洞情报、开源组件安全、SBOM、软件成分分析（SCA）、开源许可证合规等前沿技术及最佳实践。墨知通过促进知识共享、技术研究和合作交流，帮助组织和个人提高软件供应链的安全性，减少供应链攻击的风险，并保护软件生态系统的整体安全。
Kafka漏洞修复之CVE-2023-25194修复措施验证
CharlesYan的博客
02-19 6034
Apache Kafka Connect 模块通过JNDI 注入任意代码漏洞修复措施验证，包括Linux安装多版本JDK动态切换、验证OpenJDK与Kafka3.4.0的兼容性以及Linux中文件配置的优先级等
漏洞复现-Apache Kafka Clients JNDI注入漏洞 (CVE-2023-25194)
玄道的网安博客
08-11 732
在版本3.3.2及以前，Apache Kafka clients中存在一处JNDI注入漏洞。如果攻击者在连接的时候可以控制属性sasl.jaas.config的值为com.sun.security.auth.module.JndiLoginModule，则可以发起JNDI连接，进而导致JNDI注入漏洞，执行任意命令。方法，做完客户端的判断和安全协议的判断之后，调用了。判断 SASL 模式是否开启，开启了才会往下跟进到。方法，跟进，发现其中还是加载了一些配置。方法，最后 Jndi 注入。
Spring boot使用Kafka Java反序列化漏洞 CVE-2023-34040
日拱一卒无有尽，功不唐捐终入海
08-30 1943
背景：公司项目扫描到 Spring-Kafka上使用通配符模式匹配进行的安全绕过漏洞 CVE-2023-20873Spring Kafka 是 Spring 框架提供的一个库，它提供了使用 Apache Kafka 的便捷方式。Apache Kafka 是一个开源的流处理平台，主要用于构建实时数据流管道和应用。Spring Kafka 通过提供一种抽象和封装的方法，使开发者能够更容易地在 Spring 框架中使用 Apache Kafka。
Apache Kafka 拒绝服务漏洞
OSCS开源安全社区
09-21 1755
1）没有身份验证的Kafka集群：任何能够与Broker建立网络连接的客户端都可能引发该问题。2）具有SASL身份验证的Kafka集群：任何能够与Broker建立网络连接而无需有效SASL凭据的客户端都可以触发问题。3）具有TLS身份验证的Kafka集群：只有能够通过TLS成功身份验证的客户端才能触发问题。OSCS(开源软件供应链安全社区)通过最快、最全的方式，发布开源项目最新的安全风险动态，包括开源组件安全漏洞、事件等信息。Apache Kafka是一个高度可扩展的分布式消息队列。
李志毅：Flink消费Kafka实验记录与问题解决
在整个实验过程中，李志毅遇到了两个主要问题： - **Maven导入包错误**: 当尝试通过Maven安装依赖时，出现了错误。原因是由于复制依赖包时出现错误，导致pom.xml中的包名不正确。经过仔细检查和修改，问题得以解决...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值