Pulsar的分层存储能有效降低长期存储成本，通过将历史消息存入HDFS，减少对Bookkeeper的需求。消息分片的不变性保证了数据完整性。开启分层存储只需配置broker.conf并启用自动卸载功能。
1. 分层存储的作用
Pulsar允许用户储存任意大小的Topic backlog。但是如果所有的消息都储存在Bookkeeper中，就需要不停的拓展Bookkeeper集群的数量，系统会自动平衡数据，这样成本很高。
所以Pulsar有了分层储存的概念，将很久前的历史消息储存在HDFS中。Pulsar的消息由分片组成，除当前写入的最后一个分片数据是变化的，其它分片数据都已封装不会变化。所以将历史分片复制到HDFS不会破坏数据完整性。复制完成后，可以立即更新消息日志元数据中的数据指针，并且可以删除BookKeeper中存储的数据副本
储存在Bookkeeper或分层存储的消息对用户来说是透明
2. 分层储存的开启
修改Pulsar集群所有服务器的broker.conf，配置卸载地址和路径, 并开启卸载自动运行即可
详情请参考官网Pulsar分层储存
扫一扫
627
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
