kafka和zookeeper的配置文件优化配置

最新推荐文章于 2024-12-27 13:52:02 发布

转载最新推荐文章于 2024-12-27 13:52:02 发布 · 173 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/kaiwen1/p/9936245.html

本文详细介绍了Zookeeper的自动日志清理配置方法，包括通过修改zoo.cfg文件中的autopurge.purgeInterval和autopurge.snapRetainCount参数来实现。同时，提供了一个shell脚本示例用于手动清理日志。此外，还介绍了Kafka的日志配置，如log.dirs、log.retention.hours等参数，帮助读者理解如何有效管理大数据平台的日志。

zookeeper的配置

日志自动清理
这两个参数都是在zoo.cfg中配置的：

autopurge.purgeInterval 这个参数指定了清理频率，单位是小时，需要填写一个1或更大的整数，默认是0，
表示不开启自己清理功能。

autopurge.snapRetainCount 这个参数和上面的参数搭配使用，这个参数指定了需要保留的文件数目。默认是保留3个。

当然也可以写shell脚本定时执行

#!/bin/bash      
#snapshot file dir
dataDir=/usr/local/zookeeper-3.4.8/logs/version-2
#tran log dir
dataLogDir=/usr/local/zookeeper-3.4.8/data/version-2
#zk log dir
#Leave 30 files
count=30
count=$[$count+1]
ls -t $dataLogDir/log.* | tail -n +$count | xargs rm -f
ls -t $dataDir/snapshot.* | tail -n +$count | xargs rm -f
#删除对应两个目录中的文件，保留最新的30个文件,GS

参考:https://blog.youkuaiyun.com/reblue520/article/details/52311314

kafka的配置

重指日志位置：log.dirs=/data/kafka_log/logs
日志保存24小时之后自动删除:log.retention.hours=24

delete.topic.enable=true
default.replication.factor=2
replica.lag.time.max.ms=60000 //这个可以不用配置

转载于:https://www.cnblogs.com/kaiwen1/p/9936245.html