漫游Kafka之过期数据清理

kafka日志保留时间设置无效问题 背景 看了网上很多文档,说是要设置log.retention.hour等等参数。 默认是保留7天,但我实测下来发现日志根本没有任何变化。 目前我们的kafka,一天就有400多个G,保留七天大大增加了我们的服务器成本。 不生效的设置 #设置日志只保留一个小时的 "log.retention.hours": 1 #设置大于500M就自动删除 "log.retention.bytes": "5... 阅读详情


Kafka将数据持久化到了硬盘上,允许你配置一定的策略对数据清理,清理的策略有两个,删除和压缩。

数据清理的方式

删除

log.cleanup.policy=delete启用删除策略
直接删除,删除后的消息不可恢复。可配置以下两个策略:
清理超过指定时间清理:  
log.retention.hours=16
超过指定大小后,删除旧的消息:
log.retention.bytes=1073741824
为了避免在删除时阻塞读操作,采用了copy-on-write形式的实现,删除操作进行时,读取操作的二分查找功能实际是在一个静态的快照副本上进行的,这类似于Java的CopyOnWriteArrayList。

压缩

将数据压缩,只保留每个key最后一个版本的数据。
首先在broker的配置中设置log.cleaner.enable=true启用cleaner,这个默认是关闭的。
在topic的配置中设置log.cleanup.policy=compact启用压缩策略。

压缩策略的细节


如上图,在整个数据流中,每个Key都有可能出现多次,压缩时将根据Key将消息聚合,只保留最后一次出现时的数据。这样,无论什么时候消费消息,都能拿到每个Key的最新版本的数据。
压缩后的offset可能是不连续的,比如上图中没有5和7,因为这些offset的消息被merge了,当从这些offset消费消息时,将会拿到比这个offset大的offset对应的消息,比如,当试图获取offset为5的消息时,实际上会拿到offset为6的消息,并从这个位置开始消费。
这种策略只适合特俗场景,比如消息的key是用户ID,消息体是用户的资料,通过这种压缩策略,整个消息集里就保存了所有用户最新的资料。
压缩策略支持删除,当某个Key的最新版本的消息没有内容时,这个Key将被删除,这也符合以上逻辑。


Kafka视频教程同步首发,欢迎观看!


kafka 日志清理机制详解 说到kafka的日志清理策略,就会涉及到配置项cleanup.policy,在broker server端配置项是log.cleanup.policy,在topic级别则是cleanup.policy。所以可以是全局设置,或者单独对某个topic设置,一般不会修改默认值(即delete),根据业务需求自己单独可对topic设置其他policy。 log.cleanup.policy的默认值是delete,可选项有delete/compact,在0.10版本后才可以同时配置delete,compact。 阅读详情

相关推荐

C++与Qt构建高性能交通数据可视化系统:架构、实现与优化

数据可视化是将抽象数据转化为直观图形的技术,其核心原理在于通过图形学方法揭示数据中的模式与趋势。在工程实践中,面对海量、实时的数据处理需求,如城市交通流量分析,系统的性能与响应速度成为关键挑战。C++凭借其接近硬件的执行效率和对内存的精细控制,成为构建高性能实时系统的首选语言。结合Qt框架强大的图形界面和跨平台能力,开发者能够实现高吞吐、低延迟的数据处理与复杂动态图形的流畅渲染。这种技术组合特别适用于智慧城市、工业监控等需要对大规模流数据进行毫秒级处理和交互式探索的应用场景。本文通过一个城市交通可视化系统的

weixin_30920597的博客 381

kafka彻底删除topic(cleanup policy)、清除特定topic数据

①$KAFKA/bin/kafka-topics.sh --delete --zookeeper Desktop:2181 --topic test-0921 ②$ZOOKEEPER/bin/zkCli.sh -server Desktop:2181 delete /config/topics/test-0921 deleteall /brokers/topics/test-0921

微电子学与固体电子学-俞驰 2935

弘玑RPA进阶攻略

01.弘玑RPA产品概要。02.设计器的安装与卸载。03.设计器特性与使用。

长安诗社社长@-梁瀚文- https://github.com/HevnChin https://gitee.com/HevnChin 3650

定时清理_kafka 定时清理日志”失效“

有童鞋请教,log.retention.hour设置72小时(3天),但现在6天都已经过去,却未见kafka对日志进行清理。告知童鞋检查3个地方,segment.bytes 设置值,分片目录大小,分片目录里面是否只有单个日志文件。反馈为:segment.bytes 为1G,分片目录大小为700M+,分片目录中只有单个日志文件。问题确定:未达到1G的分片大小,kafka不会进行分片,kafka不会对...

weixin_39816062的博客 1183

Linux 音频驱动(六) ALSA音频驱动之PCM Write数据传递过程

目录1. 前言2. PCM Data Flow3. 总结 1. 前言 本文,我们将以回放(Playback,播放音频)为例,讲解PCM Data是如何从用户空间到内核空间,最后传递到Codec。 在Linux 音频驱动(一) ASoC音频框架简介中,我们给出了回放(Playback)PCM数据流示意图: 对于Linux来说,由于分为 user space 和kernel space,而且两者之间不能随便互相访问。因此用户如果播放音频,则需要调用copy_from_user()将用户数据从user spa

_Modest_的博客 1万+

从IMU数据到精准定位:手把手推导ESKF中的四元数运动学与误差状态方程

本文详细介绍了如何从IMU数据推导ESKF中的四元数运动学与误差状态方程,实现精准定位。通过分析误差状态卡尔曼滤波器的优势、四元数表示的必要性,以及IMU测量模型和运动学基础,提供了完整的数学推导和实现要点。适合机器人定位和自动驾驶领域的算法工程师参考,帮助优化导航系统性能。

weixin_30271335的博客 680

漫游Kafka之过期数据清理【转】

转自:http://blog.youkuaiyun.com/honglei915/article/details/49683065 Kafka将数据持久化到了硬盘上,允许你配置一定的策略对数据清理,清理的策略有两个,删除和压缩。 数据清理的方式 删除 log.cleanup.policy=delete启用删除策略直接删除,删除后的消息不可恢复。可配置以下两个策略:清理超过指定时间清理: l...

dianzhouyu2189的博客 150

HDLbits练习11 - Counter 1-12 ( Exam/ece241 2014 q7a )

(如这题用于当复位信号为高或者计数器递增至12时,该信号置1使计数器的输入信号 ’ d ’ 变为 ’ 4’b0001 ’ ,再加载到 ’ Q ’ 中。当 ’ load ’ 信号为高时,在时钟的上升沿,计数器会将 ’ d ’ 输入的值加载到 ’ Q ’ (计数器的输出)中,而不是递增当前值。用途:在时钟上升沿触发的情况下,如果 ’ enable ’ 信号为高,计数器的值会递增,如果 ’ load ’ 信号为高,计数器将加载 ’ d ’ 信号的值。作用: ’ Q ’ 是计数器的当前值,也是模块的主要输出。

weixin_62830176的博客 474

Kafka日志清除策略

日志清除策略 根据消息的保留时间,当消息在 kafka 中保存的时间超过了指定的时间,就会触发清理过程 根据 topic 存储的数据大小,当 topic 所占的日志文件大小大于一定的阀值,则可以开始删除最旧的消息。 kafka 会启动一个后台线程,定期检查是否存在可以删除的消息,通过 log.retention.bytes 和 log.retention.hours 这两个参数来设置,当其中任意一个达到要求,都会执行删除。 日志压缩策略 Kafka 还提供了日志压缩(Log Compaction)功能,通

鸭梨的博客 1376

嵌入式Zephyr RTOS面试题及参考答案

在Zephyr中,为自定义外设编写Devicetree绑定(Bindings)有助于内核理解设备树中自定义外设节点的含义和属性。首先,需要创建一个.yaml格式的绑定文件,通常存放在目录下对应的子目录中,文件名应能反映外设的类型和功能。绑定文件的开头要定义基本信息,包括字段,用于简要描述外设的功能和用途;compatible字段,它是一个字符串列表,用于匹配设备树中自定义外设节点的compatible属性,设备树节点和绑定文件通过这个字段关联起来。接下来,要定义外设节点的属性。使用properties。

大模型大数据攻城狮的专栏 988

EMC辐射整改常用的4种整改方法

例如,产品设计研发工程师们根据需求,设计出效果良好的滤波电路,置入产品I/O(输入/输出)接口的前级,可使因传导而进入系统的干扰噪声消除在电路系统的入口处;通过选择元器件和合理安排的电路系统,使干扰的影响减少。有些频率点是通过电路板上走线分布参数所决定的,通过前述方法不大有用,此类整改通过在走线中增加小的电感、电容、磁珠来改变电路参数结构,使其移到限值要求较高的频率点上。电线电缆的分类整理在电子设备中,线间耦合是一种重要的途径,也是造成干扰的重要原因,因为频率的因素,可大体分为高频耦合与低频耦合。

学海无涯的专栏 3125

kafka 运维中遇到的问题

1,java.lang.InternalError: a fault occurred in a recent unsafe memory access operation in compiledkafka 进程失败,重启失败 检查日志发现这个,原因是磁盘满了,清除 kafka-logs 即可2,kafka定时清理日志不生效网上很多文档,说是要设置log.retention.hour等等参数。 默认是保留7天,但我实测下来发现日志根本没有任何变化。原因是因为kafka只会回收上个分片的数据配置没有生效的原因

h952520296的博客 1万+

在Windows 10/11上使用Qt和SOEM构建EtherCAT主站:工业控制新纪元

☑️ Windows平台上的EtherCAT主站☑️ 微秒级精度的实时控制☑️ 动态设备配置与管理☑️ 直观的Qt监控界面☑️ 分布式时钟同步“技术不是取代人类的工具,而是拓展人类能力的翅膀。当我们在Windows上实现微秒级精度的工业控制时,不是在征服机器,而是在创造人与机器和谐共舞的新舞台。集成AI异常检测算法支持EtherCAT G协议云端监控与远程诊断完整项目代码预编译SOEM库示例视频教程。

QQ_778132974的博客 635

20-kafka过期数据清理

题目:kafka过期数据清理 答案: 1.要保证数据没有被引用(没人消费它) 2.日志清理保存的策略只有delete和compact两种 log.cleanup.policy=delete 启用删除策略 log.cleanup.policy=compact 启用压缩策略 https://www.jianshu.com/p/fa6adeae8eb5 ...

huaxing_ba的博客 837

Python爬虫实战:使用最新技术爬取路透社新闻数据

网络爬虫(Web Crawler)是一种自动获取网页内容的程序,是搜索引擎的重要组成部分。随着大数据和人工智能技术的发展,爬虫技术在数据采集、市场分析、舆情监控等领域发挥着越来越重要的作用。requests:同步HTTP请求库aiohttp:异步HTTP请求库:HTML解析库lxml:高效的HTML/XML解析库selenium:浏览器自动化工具playwright:现代浏览器自动化工具pandas:数据处理和分析库scrapy:专业的爬虫框架:生成随机User-Agentredis:缓存和分布式爬虫支持。

2201_76125261的博客 1205

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

kafka 是如何清理过期数据

kafka 是如何清理过期数据

qq_41982570的博客 3512

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

上一篇: YARN的内存和CPU配置
下一篇: apache kafka中server.properties配置文件参数说明
王树民
博客等级 码龄10年 912粉丝 560原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值