南风知我意

Flink消费kafka出现空指针异常

Kafka的高性能磁盘读写实现原理

Kafka Eagle删除Topic时出现Enter Admin Token

kafka数据和日志目录迁移教程

kafka过期消息删除过程：有时候总觉得我的消息没到7天就被删除了，我还以为是我的kafka配置没有生效，了解到 kafka删除机制后才恍然大悟kafka消息首先由用户设定一个或多个partition，每个partition中kafka会根据消息量来逐步建立多个segment存储消息，每个segment的大小由配置项进行设定，比如这里log.segment.bytes=1073741824 【1GB】kafka至少会保留1个工作segment保存消息。消息量超过单个文件存储大小就会新建segment

全局设置：1）需要修改server.properties配置如下：log.retention.hours=168 ( 168h(7天) 配置该参数即可)log.cleanup.policy=delete （默认，可不配置）2） 修改配置后重启kafka服务生效，该种设置消息过期时间的优点是可以对所有topic全部生效，缺点是需要重启kafka服务，造成服务短暂的不可用！特定Topic设置：可以不停服针对kafka中数据量较大的topic可以单独设置过期时间，而且不需要重启kafka下