为何建议大家升级到Kafka2.5.x？

最新推荐文章于 2023-11-23 20:08:18 发布

原创最新推荐文章于 2023-11-23 20:08:18 发布 · 259 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #zookeeper #分布式 #滴滴

一位社区用户在使用Kafka 0.10.0.1版本时遇到进程假死和数据丢失问题，随着数据量增加，问题愈发严重。升级到0.11.0.3才解决了线程死锁问题。此外，介绍了一个专注于Kafka的国内社区，他们在Kafka 2.5.x基础上实现了40多项优化，包括磁盘过载保护、分区动态迁移和业务线程隔离等功能，并提供全面技术支持。

了解到社区用户有人在使用0.10.0.1这个版本，最开始一切都很稳定正常，但是随着生产环境数据量增加，时常会出现进程假死，数据丢失情况遇到这类情况普通用户通常很难定位问题根因，该用户的做法就是冒着风险往上升版本，最终发现直到升级0.11.0.3这个版本才可以解决线程死锁的问题

像类似这样的问题还有很多，如果用户找到我们，很多版本的bug我们可能也没有遇到过，而Kafka2.5.x我们不仅在内部使用，而且还基于Kafka引擎做了40+的优化，比如自研了磁盘过载保护，分区动态迁移，业务线程隔离等特色功能，在国内可以提供完整的技术支持

国内最大最权威的 Kafka中文社区，在这里你可以结交各大互联网Kafka大佬以及近2000+Kafka爱好者，一起实现知识共享，实时掌控最新行业资讯，免费加入中~

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

kafka中文社区

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

SpringCloud 微服务集群升级记录（1.5.x-2.7.18）

分享技术干货和灵感、推荐新书和好玩的项目、分享Java面试题

12-01

2473

前段时间，因项目被扫出大量漏洞，全是因为依赖版本过低，存在高中危漏洞需要升级。正好本来也有规划集群升级，因为工作量大迟迟落实不了，正好有这次修漏洞的机会，升级微服务集群。这篇文章主要记录了本人的升级记录，遇到的问题解决方法，仅供参考。

springboot整合kafka2.5(单机模式)

APM800的博客

07-10

1790

操作系统:centos6.5 kafka:2.5.0 zookeeper:kafka高版本中自带的zookeeper 首先下载kafka,横线部分是源码,还需要编译,直接下载下面编译后的压缩包下载地址:http://kafka.apache.org/downloads 解压 :cd/usr/local/kafka && tar -zxvf kafka_2.12-2.5.0.tgz 修改配置文件: vi /usr/local/kafka/kafka_2.12-2.5.0/con.

参与评论您还未登录，请先登录后发表或查看评论

Kafka运维大全：优化、监控、故障处理

狂神粉丝加一的博客

11-23

1029

Kafka概念 Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的、可划分的、冗余备份的、持久性的日志服务。它主要用于处理活跃的流式数据。分布式系统，易于向外扩展。所有的producer、broker和consumer都会有多个，均为分布式的。无需停机即可扩展机器。 Kafka设计方案消息持久化及其缓存磁盘性能：在传统的磁盘写入很慢，因为它使用随机写入50k/s（6个7200转的sata硬盘组成的raid-5），但是线性写入

从Kafka的一次broker假死介绍Kafka架构和DefaultPartitioner

小昌昌的博客

07-14

3751

最近公司的kafka集群出现了节点已经失效但是节点进程和端口都还在的情况，目前我们的系统监控只是做到了进程监控，即为整个集群的每台机群建立进程快照，如果进程（如NameNode、kakfa broker）丢失，则报警并立刻自动重启进程。但是这次的kafka事故进程和端口都还在，因此报警系统没有能够及时报警，因此对此次事故发生的过程和解决方式做详细的分析。首先，我们一个同学使用kafka的过程中发...

kafka节点假死

weixin_33881753的博客

06-03

2046

一、前言早上醒来打开微信，同事反馈kafka集群从昨天凌晨开始写入频繁失败，赶紧打开电脑查看了kafka集群的机器监控，日志信息，发现其中一个节点的集群负载从昨天凌晨突然掉下来了，和同事反馈的时间点大概一致，于是乎就登录服务器开始干活。二、排错1、查看机器监控，看是否能大概定位是哪个节点有异常2、根据机器监控大概定位到其中一个异常节点，登录服务器查看kafka日志，发...

kafka假死和解决 Java Max Direct Memory Size 问题

DreamWeaver_Zhou

09-24

4124

一、前言早上醒来打开微信，同事反馈kafka集群从昨天凌晨开始写入频繁失败，赶紧打开电脑查看了kafka集群的机器监控，日志信息，发现其中一个节点的集群负载从昨天凌晨突然掉下来了，和同事反馈的时间点大概一致，于是乎就登录服务器开始干活。二、排错 1、查看机器监控，看是否能大概定位是哪个节点有异常技术分享 2、根据机器监控大概定位到其中一个异常节点，登录服务器查看kafka日...

2.5.x的springBoot版本对应哪个版本的spring Kafka啊

最新发布

06-28

例如：- SpringBoot2.4.x对应 SpringKafka2.6.x-Spring Boot2.5.x对应 SpringKafka2.7.x-Spring Boot2.6.x对应 SpringKafka2.8.x具体到2.5.x：Spring Boot2.5.0发布于2021年5月，通常使用Spring Kafka2.7.0或更高。...

springboot1.5升级到springboot2.x改造问题

bee-factory

10-18

1023

最近在做服务化改造，从springboot1.5升级到springboot，遇到很多问题。包含mongodb、redis、yaml书写等方式发生了变化。整理如下： 1、MongoDB获取方式 DB获取方式从MongoTemplate变成MongoClient获取。 2、yaml格式书写 2.1 server.context-path 变成server:servlet.context-path 2.2 yaml名字不能有大写字母 kafka客户端版本版本要调整 <dependency>

kafka漏洞升级记录，基于SASL JAAS 配置和 SASL 协议，涉及版本3.4以下

c1115759748的博客

02-10

1297

攻击者可以使用基于 SASL JAAS 配置和 SASL 协议的任意 Kafka 客户端，在对 Kafka Connect worker 创建或修改连接器时，通过构造特殊的配置，进行 JNDI 注入。影响范围：2.3.0

Spring Boot 升级3.x 指南

BLF2

11-23

2819

先创建一个parent项目，打包类型为pom，继承自spring boot的parent项目然后把版本集中放在这个pom里面，示例如下

kafka假死 & Direct buffer memory

happy19870612's blog

11-18

7324

发生java.lang.OutOfMemoryError: Direct buffer memory

Kafka消费者卡死问题：消费组无响应、Topic无写入数据，实际上有数据可用

AlianBlank的博客

09-17

1602

然而，有时候会遇到消费者卡死的情况，即消费组无响应，导致Kafka中的Topic无法写入数据，尽管实际上有可用的数据。本文将介绍一些可能导致此问题的常见原因，并提供相应的代码示例以解决这个问题。在使用Apache Flink和Kafka进行大数据处理时，消费者卡死和Topic无写入数据是常见的问题。本文介绍了可能导致这些问题的原因，并提供了相应的解决方法。通过正确配置消费者、提高处理速度和处理消费者异常终止，可以解决这些问题，并确保数据的正常流动。

kafka broker假死问题

weixin_34380781的博客

08-25

1200

2019独角兽企业重金招聘Python工程师标准>>> ...

Kafka1.1.x到2.5.x的升级点

石臻说AI(szzdzhp001) 【原名石臻臻的杂货铺】

06-01

4424

KIP-186 将默认偏移保留时间从 1 天增加到 7 天。这使得它不太可能在不经常提交的应用程序中“丢失”偏移量。它还增加了活动的偏移量集，因此可以增加代理的内存使用量。请注意，控制台使用者当前默认启用偏移提交，并且可能是大量偏移的来源，此更改现在将保留 7 天而不是 1 天。您可以通过将Broker配置设置为 1440 来保留现有行为。已放弃对 Java 7 的支持，Java 8 现在是所需的最低版本。配置最小值调整为0(以前是1)；：允许来自每个 IP 地址的最大连接数。之前最小值是1,

关于kafka（2.5.0版本）安装教程和简单的springboot项目测试

h_970918的博客

06-18

1764

一、kafka安装教程： 1.安装环境准备三个服务器节点，环境中有jdk（建议1.8版本），因本章讲述使用kafka内置zookeeper，所以不讲解zookeeper安装方式（如果有需要可以百度zookeeper安装方法，注意kafka版本的不同对zookeeper版本有要求，具体细节问度娘。） 2.kafk安装包下载可在kafka官网下载2.5.2 如下图所示：也可以在linux服务器下使用命令进行下载 ->首先创建并进入kafka安装目录 mkdir -p /opt/kafka &amp

kafka_0.10.1.0集群部署

1032851561的博客

01-13

1万+

1. 背景简介Kafka是一个分布式流平台，原本开发自LinkedIn，之后成为Apache项目的一部分，用于构建实时数据管道和流媒体应用，水平扩展、容错，很多公司都在生产环境中使用：LinkedIn,Yahoo,Twitter,Uber,Oracle…..。 Kafka背景及架构介绍： http://www.infoq.com/cn/articles/kafka-analysis-part-

急需降低系统复杂性，我们从 Kafka 迁移到了 Pulsar

qianshanding0708的博客

02-20

224

要点总结分布式消息系统支持流和队列两种语义，这两种语义最适合使用的场景有所不同。Pulsar 的独特之处在于它同时支持流和队列使用场景。Pulsar 采用多层架构，可以轻松扩展 topic...

kafka 从2.11-0.10.2.1 升级到2.11-2.0.0

fanxinxinshuang的博客

08-06

3444

1，升级原因线上运的的集群最开始由于关掉了delete.topic.enable 这个选项，而且打开了自动创建topic的选项，导致线上集群topic多，分区数也很庞大，尝试了用kafka-manager工具去删除topic,没有效果，直接手动删除也比较麻烦，偶然在一个新版本上测试时发现即使是关掉了delete.topic.enable ，也可以直接用kafka-manager这个管...

记一次Kafka集群的故障恢复