Kafka 设计之日志压缩

原创 已于 2024-05-23 08:11:16 修改 · 1.3k 阅读 · 24 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kafka #日志压缩 #日志压缩基础 #日志压缩保障 #日志压缩细节 #Log Cleaner

于 2024-03-11 07:30:00 首次发布
Kafka 的日志压缩（Log Compaction）确保了每个消息 Key 的最新值被保留，适用于数据库变更订阅、事件源和高可用性场景。它通过删除旧的 Key 更新，保留最新状态，允许下游消费者恢复状态。日志压缩在后台进行，不影响读取，并可通过配置控制清理策略。

目录

一. 前言

二. 日志压缩（Log Compaction）

三. 日志压缩基础（Log Compaction Basics） 

四. 日志压缩提供什么保障？

五. 日志压缩细节（Log Compaction Details）

六. 配置 Log Cleaner（Configuring The Log Cleaner）

一. 前言

    Kafka 日志压缩类似于 Redis 持久化的 RDB 模式，假设 Kafka 崩溃，通过日志文件恢复最终状态时，Kafka 只需要关心最新状态，并不关心每一时刻的状态。Kafka 日志压缩主要是针对两种数据：1. Key 值相同的数据，压缩后只记录同 Key 值最新的一条数据；2. Key 不为空，Value 为空的消息，这种消息在日志压缩过程中会被设置为墓碑消息。

二. 日志压缩（Log Compaction）

原文引用：Log compaction ensures that Kafka will always retain at least the last known value for each message key within the log of data for a single topic partition. It addresses use cases and scenarios such as restoring state after application crashes or syst

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【Kafka】Kafka Log compaction 介绍
九师兄
03-17 1262
1.概述 转载：https://www.hnbian.cn/posts/a028cfba.html Log Compaction是kafka提供的一种整理offset数据的方式。Log Compaction对于有相同key的的不同value值，只保留最后一个版本。如果应用只关心key对应的最新value值，可以开启Kafka的日志清理功能，Kafka会定期将相同key的消息进行合并，只保留最新的value值。 如果一个系统使用Kafka来保存topic消费数据的状态，每次有状态变更都会将其写入Kafka中。
【kafka】Kafka消息压缩与解压与相关实验
九师兄
11-09 708
1.概述 本文一部分参考了文章：Kafka消息压缩与解压 本文做这个实验的主要功能是验证到底是不是压缩导致的这个问题 【Kafka】Kafka Record for partition topic at offset xx is invalid, cause: Record corrupt 2.Kafka消息压缩与解压 压缩具体来说就是用 CPU 时间去换磁盘空间或网络 I/O 传输量，希望以较多的 CPU 开销带来更少的磁盘占用或更少的网络 I/O 传输。在 Kafka 中，压缩也是用来做这件事的。 2.
Java 领域 Log4j 的日志文件压缩策略
Java大师兄的博客
06-11 1129
日志是系统的“健康档案”，但你是否遇到过这样的场景？一个运行3个月的Java应用，日志文件夹占满了500GB磁盘空间，删除旧日志怕丢关键信息，不删又面临服务器宕机风险。本文将聚焦Log4j2的日志文件压缩策略日志为什么需要压缩？Log4j2如何实现“边写边滚动+自动压缩”？如何根据业务需求定制压缩策略（如按大小/时间滚动、选择Gzip/Zip格式）？实战中常见问题（如压缩失败、日志丢失）如何解决？用“叠作业本”的故事引出日志滚动与压缩的必要性；
日志瘦身术：glog生产环境存储优化全指南
最新发布
gitblog_00451的博客
11-06 374
你是否遇到过服务器磁盘被日志占满的告警？生产环境中，无节制增长的日志文件不仅消耗存储空间，还会拖慢系统性能。本文将系统讲解glog日志清理机制，通过5个实用技巧帮你实现日志存储的自动化管理，确保服务稳定运行的同时降低存储成本。读完本文你将掌握：日志自动清理配置、按时间/大小控制日志生命周期、自定义清理策略，以及在Docker/K8s环境中的最佳实践。 ## 日志清理核心机制 glog提供了内置
kafka日志存储（八）：LogCleanManager日志压缩
lianggx3的博客
06-23 971
日志压缩 在很多实践的场景中，key和value的值是不丹变化的，如果消费者只关心key对应的最新value值，可以开启kafka的日志压缩功能，服务端要在后台启动Cleaner线程池，把相同key的消息进行合并。 每个Log都可以通过clean checkpoint部分切分成clean和dirty两部分，clean表示之前已经被压缩过的消息，dirty表示没有被压缩过的消息。 经过压缩之后，cl...
Kafka日志压缩剖析
csdn_manong1的博客
09-27 510
Kafka的日志压缩原理并不复杂，就是定时把所有的日志读取两遍，写一遍，而CPU的速度超过磁盘完全不是问题，只要日志的量对应的读取两遍和写入一遍的时间在可接受的范围内，那么它的性能就是可以接受的。
Kafka日志清理之Log Compaction
朱小厮的博客
05-28 9622
在上一篇文章《Kafka日志清理之Log Deletion》中介绍了日志清理的方式之一——日志删除，本文承接上篇，主要来介绍Log Compaction。 Kafka中的Log Compaction是指在默认的日志删除（Log Deletion）规则之外提供的一种清理过时数据的方式。如下图所示，Log Compaction对于有相同key的的不同value值，只保留最后一个版本。如果应用...
日志收集项目架构设计及Kafka介绍
weixin_72525373的博客
11-29 1057
LogAgent：日志收集客户端，用来收集服务器上的日志Kafka：高吞吐量的分布式队列（Linkin开发，Apache顶级开源项目）ElasticSearch：开源的搜索引擎，提供基于HTTP RESTful的web接口Kibana：开源的ES数据分析和可视化工具Hadoop：分布式计算框架，能够对大量数据进行分布式处理的平台Storm：一个免费并开源的分布式实时计算框架Kafka是一个分布式数据流平台，可以运行在单台服务器上，也可以在多台服务器上部署形成集群。
kafka日志存储
Markland_l的博客
05-06 1454
当前风控系统使用的kafka是1.1版本，随机下载了相关源码，由于kafka是用scala编写的，并用gradle进行打包处理，也进行了相关程序的下载，对应的版本见下述列出，感兴趣的同事可以按如下版本下载，解压编译kafka源码，然后就可以在idea中查看了。目前风控kafka上述两个配置都是默认值，见下图，log.segment.bytes是1G，log.roll.hours是7d，这两个配置在后续分析segment相关原理时还会再详细介绍。
SkyWalking集成Kafka实现日志异步采集经验总结
搬砖工
02-23 2622
SkyWalking异步日志采集 1、kafka-reporter-plugin-x.x.x.jar包放plugins目录后必走kafka（kafka没有正确配置就会报错） 2、异步不开启数据压缩，数据量较大，pod多、业务大时容易造成网络拥堵 3、SW_AGENT_INSTANCE_NAME默认：UUID@hostname，建议调整为：nodeip@podip 4、SkyWalking OAP配置启用kafka并配置好后，OAP启动时会自动创建Topic 5、需要开启数据压缩，否则容易造成网络拥堵
日志压缩
zhuangzi123456的博客
08-06 1332
#!/bin/bash #Filename:logCompress.sh #Author: XXXXXXXXXX #Date: 2018/02/26 #Description:用于压缩日志，用法：./logCompress.sh "baseDir目录下面的子目录名" 年份 月份；注意，这里输入的子目录名就是/www/mywayec/public_html/Logs目录下面的，如果是更深一层的目录...
【kafka系列教程21】kafka日志压缩
dcm19920115的博客
06-25 1108
日志压缩 Log compaction ensures that Kafka will always retain at least the last known value for each message key within the log of data for a single topic partition. It addresses use cases and scenari...
Kafka设计（8）日志压缩
supermancoke的博客
04-02 510
参考文档： http://kafka.apache.org/documentation/#design 日志压缩 日志压缩确保Kafka总是保留一个主题分区的日志数据中每个消息key的至少最后一个已知值。它解决了一些用例和场景，例如：应用崩溃或系统错误后还原状态，在维护操作时重启应用后重新加载缓存。让我们更详细深入这些用例并描述压缩如何工作。 到目前为止，我们只描述了数据持久的简单方法（老数据...
日志文件压缩
w907645377的博客
09-08 2159
星期天，由于日志文件过大，服务商发短信通知机器的硬盘占用已经超过90%了，需要把日志压缩一下。 刚开始考虑使用logback自带的压缩，先进行调研，能否解决我们的问题，会不会引发其他问题？然后发现了这篇文章：[logback日志压缩的问题](https://zhuanlan.zhihu.com/p/133425425)， 可能需要改源码，代价太大，还是自己解决吧。 思考了一下，决定使用crontab 在凌晨跑下脚本压缩一下三天前的日志文件，写了以下脚本 autoZip.sh: ```powershell
tomcat日志压缩
weixin_33849942的博客
07-11 614
#! /bin/shdate=$(/bin/date -d -1day +%Y-%m-%d)tomcat_date=$(/bin/date -d -1day +%Y%m%d)#tomcat日志tomcat_logs_path_a="PATH"tomcat_logs_path_b="PATH"tomcat_logs_path_d="PATH"tomcat_logs_path_d...
6.1.6 日志压缩
water Wang
04-22 4147
不管是传统的RDBMS还是分布式的NoSQL，存储在数据库中的数据总会更新。更新数据有两种方式：直接更新(找到数据库中的已有位置，以最新的值替换旧的值)、以追加方式更新(保留旧值，查询时再合并；或者会有一个后台线程，对相同键的所有记录进行定期合并操作)。第二种做法因为在写操作时不需要查询，所以写性能会很高。如表6-3所示，很多分布式存储系统都采用这种追加方式。这种方式的缺点是：需要通过后台的压缩操作保证相同键的多条记录，经过合并后只保留最新的一条记录。 如图6-35所示，Kafka的消息由键值组成，在.
log4j 日志压缩
qq_42792934的博客
04-21 4869
log4j 压缩日志文件配置所需文件:1.创建自己的Appender2.log4j.properties 中 选择自己的Appender3.输出日志测试结果如下总结: 所需文件: commons-logging.jar log4j-1.2.15.jar 1.创建自己的Appender package net.wwwyibu.wechat.service; import java.io.File; import java.io.FileInputStream; import java.io.FileOu
Kafka的日志压缩（Log Compaction）特性是什么？
qq_33240556的博客
09-14 591
Kafka 日志压缩（Log Compaction）是一种特殊的主题类型，它被设计用来处理那些具有唯一键值对的消息，其中键值对中的键是唯一的，而值是可以更新的。Log Complication 通过保留最新的值来减少日志文件的大小，并确保每个键始终指向最新版本的数据。
--压缩日志及文件大小
zgqtxwd的专栏
04-26 550
<!--google_ad_client = "pub-2947489232296736";/* 728x15, 创建于 08-4-23MSDN */google_ad_slot = "3624277373";google_ad_width = 728;google_ad_height = 15;//--><script type="text/javascript"
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

流华追梦

你的鼓励将是我创作最大的动力。

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值