消息通信kafka清理数据

原创 已于 2022-04-11 10:36:49 修改 · 645 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#中间件 #分布式 #架构 #kafka #visual studio

于 2022-04-11 10:35:52 首次发布
本文介绍了Kafka作为消息通信中间件的数据清理配置，包括`log.retention.bytes`、`log.retention.minutes`等核心参数，以及如何检查和修改特定topics的配置。通过调整这些设置，可以确保数据的有效管理和存储。

   kafka作为消息通信的一个很好的工具，在使用上还要根据具体的应用场景进行相应的配置才能更好的发挥其作用，数据清理就是很重要的一个步骤。

默认配置server.conf里的核心配置项

#最大日志保留大小

log.retention.bytes=1073741824

#日志保留时间长度

log.retention.minutes=10

log.segment.delete.delay.ms=1000

#过期数据删除策略，最重要的配置

最低0.47元/天 解锁文章
kafka中数据清理
科学的N次方
06-21 584
Kafka的消息存储在磁盘中，为了控制磁盘占用空间，Kafka需要不断地对过去的一些消息进行清理工作。Kafka的每个分区都有很多的日志文件，这样也是为了方便进行日志的清理。在Kafka中，提供两种日志清理方式：  日志删除（Log Deletion）：按照指定的策略直接删除不符合条件的日志。  日志压缩（Log Compaction）：按照消息的key进行整合，有相同key的但有不同value值，只保留最后一个版本。 在Kafka的broker或topic配置中： 配置项 配置值 说明 log.c
Kafka高级(5) -- Kafka中数据清理（Log Deletion）
erainm
09-16 2347
Kafka的消息存储在磁盘中，为了控制磁盘占用空间，Kafka需要不断地对过去的一些消息进行清理工作。Kafka的每个分区都有很多的日志文件，这样也是为了方便进行日志的清理。在Kafka中，提供两种日志清理方式： 1. 日志删除 2. 日志压缩
kafka设置过期时间
sasa527的专栏
03-02 4580
消息的过期时间 我们在使用Kafka存储消息时，如果已经消费过了，再永久存储是一种资源的浪费，所有，kafka为我们提供了消息文件的过期策略，可以通过配置server.properies来实现 # vi config/server.properies 修改下面的代码 log.roll.hours=1 log.retention.hours=2 log.segment.delete.delay.ms=0 重启kafka服务即可，上面表示消息存储时间为２小时。 设置单个topic的过期时间： clean
kafka清理数据
牵手无奈的专栏
08-25 1万+
kafka清理数据
Kafka topic消息清理几种方式
jiayu的博客
06-26 8508
执行命令bin/kafka-topics.sh --delete --topic test --zookeeper zk:2181或者使用kafka-manage集群管理工具删除。参考链接：https://cloud.tencent.com/developer/article/1590094。，只需要修改server.properties配置文件的delete.topic.enable为true就可以了。kafka启动之前，在server.properties配置。
Kafka 消息数据结构原理与实际应用——Kafka 消息发送和接收代码实例讲解
最新发布
AI天才研究院
04-15 410
/ 1. 定义一个用于传输的用户类@Override// 2. 创建用户对象的序列化器@Override// 3. 创建用户对象的反序列化器@Override// 4. 使用自定义序列化器的生产者// 创建并发送用户对象i <= 5;// 5. 使用自定义反序列化器的消费者生产者最佳实践使用适当的批处理设置（batch.size。
大厂消息中间件高频面试题与知识点整理（RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMQ）
热门推荐
曾经“等你生日那天”都遥远得像未来，如今却可欢愉的挥手说“下个十年见”
04-07 172万+
互联网高频面试之消息中间件基本问题和知识点整理分析
分布式消息通信Kafka源码解析与实践
附带的文件"2.3-分布式消息通信Kafka(三)-笔记.pdf"可能是对应的学习笔记，其中包含了对上述内容的学习心得和理解，以及可能的代码示例、图表和流程图等，有助于加深对Kafka源码的理解。通过结合源码阅读和实际笔记...
Kafka的数据备份与恢复
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
09-29 356
Kafka的数据备份与恢复 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 Apache Kafka 是一个分布式流处理平台，广泛应用
Kafka过期数据清理
男儿当自强
09-10 1573
Kafka将数据持久化到了硬盘上，允许你配置一定的策略对数据清理，清理的策略有两个，删除和压缩。 数据清理的方式 删除 log.cleanup.policy=delete启用删除策略 直接删除，删除后的消息不可恢复。可配置以下两个策略： 清理超过指定时间清理： log.retention.hours=16 超过指定大小后，删除旧的消息： log.retention.bytes=1073741824 为了避免在删除时阻塞读操作，采用了copy-on-write形式的实现，删除操作进行时，读取操作的二.
Kafka能手动删除消息吗？
qq_33240556的博客
02-05 1060
Apache Kafka本身并不直接提供一个简单的命令或界面来手动删除单条或多条具体的消息。Kafka设计的初衷是作为一个高吞吐量、持久化的消息队列，其数据保留策略是基于时间或大小自动管理的。对于生产环境中的消息管理，请始终遵循Kafka的最佳实践，通过配置合适的保留策略来满足业务需求。如果需要实现更细粒度的控制或删除功能，可能需要自定义解决方案或者结合其他工具进行处理。
漫游Kafka之过期数据清理
红磊的专栏
11-06 3万+
Kafka将数据持久化到了硬盘上，允许你配置一定的策略对数据清理，清理的策略有两个，删除和压缩。
清空kafka数据
XHW___001的博客
12-09 2097
kafka 清理
消息中间件篇之Kafka-数据清理机制
冲鸭的博客
02-26 1384
Kafka中topic的数据存储在分区上，分区如果文件过大会分段存储segment，每个分段都在磁盘上以索引(xxxx.index)和日志文件(xxxx.log)的形式存储，这样分段的好处是，第一能够减少单个文件内容的大小，查找数据方便，第二方便kafka进行日志清理。第二是根据topic存储的数据大小，当topic所占的日志文件大小大于一定的阈值，则开始删除最久的消息。第一，根据消息的保留时间，当消息保存的时间超过了指定的时间，就会触发清理，默认是168小时（ 7天）。
Kafka数据清理
zhuchunyan_aijia的博客
10-17 1215
https://www.cnblogs.com/moonandstar08/p/6204581.html  由于项目原因，最近经常碰到Kafka消息队列拥堵的情况。碰到这种情况为了不影响在线系统的正常使用，需要大家手动的清理Kafka Log。但是清理Kafka Log又不能单纯的去删除中间环节产生的日志，中间关联的很多东西需要手动同时去清理，否则可能会导致删除后客户端无法消费的情况。 在通过...
kafka：过期数据清理
不花的花和尚的博客
10-13 2万+
Kafka 作为一个高吞吐的消息中间件和传统的消息中间件一个很大的不同点就在于它的日志实际上是以日志的方式默认保存在/kafka-logs文件夹中的。虽然默认有7天清楚的机制，但是在数据量大，而磁盘容量不足的情况下，经常出现无法写入的情况。如何调整Kafka的一些默认参数就显得比较关键了。这里笔者整理了一些常见的配置参数供大家参考： 分段策略属性 属性名 | 含义 |默认值 ---|---|--...
kafka全部数据清空与某一topic数据清空
Swordfall的博客
11-25 1万+
1. Kafka全部数据清空 kafka全部数据清空的步骤为： 停止每台机器上的kafka； 删除kafka存储目录（server.properties文件log.dirs配置，默认为“/tmp/kafka-logs”）全部topic的数据目录； 删除zookeeper上与kafka相关的znode节点； 重启kafka、如果删除topic还在则需要重启zookeeper； 这...
清理offset_[Kafka]为__consumer_offset设置自动清理规则
weixin_39609822的博客
12-20 743
此法可能有风险，还请读完文章再操作。本文中的命令可以在Kafka非启动状态下执行。起因Kafka服务器在运行几个月后，存储空间耗尽了。分析Kafka的占用空间情况，发现Kafka自动生成的“__consumer_offset”topic，占用了大量空间，它用于记录每个用户topic的消费偏移量。这一topic适用的清理规则与其他topic不同，某些特殊情况下，它可能一直得不到清理，耗尽服务器资源。...
kafka全部数据清空与某一topic数据清空一过期数据清理
wr_java的博客
04-01 6896
1. Kafka全部数据清空 kafka全部数据清空的步骤为： 停止每台机器上的kafka； 删除kafka存储目录（server.properties文件log.dirs配置，默认为“/tmp/kafka-logs”）全部topic的数据目录； 删除zookeeper上与kafka相关的znode节点； 重启kafka、如果删除topic还在则需要重启zookeeper； 这里以192.168.187.201 node1、192.168.187.202 node2、192.168.1..
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

冬日的焰火

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值