《Apache Pulsar从入门到实战》系列教程第9讲之pulsar架构原理

一、深入理解pulsar分层存储

单个pulsar集群由以下三部分组成：

• 多个broker负责处理和负载均衡producer发出的消息，并将这些消息分派给consumer；broker和pulsar配置存储交互来处理相应的任务，并将消息存储在bookkeeper实例中（又称bookies）；broker依赖zookeeper集群处理特定的任务，等等
• 多个bookie的bookkepper集群负责消息的持久化存储
• 一个zookeeper集群，用来处理多个pulsar集群之间的协调任务

在一些流数据用例场景中，用户希望将数据长时间存储在流中。虽然pulsar 对topic backlog的大小没有限制，但将所有数据存储在pulsar中较长时间，存储成本比较大。分层存储支持在不影响终端用户的条件下，将较旧的数据移动到长期存储中。