Pulsar Reader 详解

在 Apache Pulsar 中，Reader（读取器） 是一种特殊的消费机制，它与传统的 Consumer（消费者） 不同，不依赖 Subscription（订阅），而是直接从 Topic 的任意位置读取消息。这使得 Reader 非常适合用于 消息回放、审计、数据迁移、调试 等场景。

---

📘 Pulsar Reader 详解

---

一、Reader 是什么？

• Reader 是一个“无订阅”的消息读取客户端。
• 它绕过 Subscription 游标（Cursor），直接从 Topic 的指定位置（如 earliest、latest、某个时间点）读取消息。
• 适用于 一次性、临时性、非持久化 的读取任务。
• 不维护消费状态，不与其他 Consumer 冲突。

✅ 类比：

• Consumer → 像“订阅报纸”，每天收到新一期，有订阅记录。
• Reader → 像“去图书馆翻旧报纸”，想看哪天看哪天，不影响别人。

---

二、Reader vs Consumer 对比

特性	Reader	Consumer
是否需要 Subscription	❌ 不需要	✅ 必须指定
是否维护游标（Cursor）	❌ 不维护	✅ 维护在 BookKeeper
是否支持 Ack	❌ 不支持	✅ 支持（Ack/Nack）
是否参与订阅模式（Shared/Key_Shared）	❌ 不参与	✅ 参与
是否可从任意位置开始	✅ 可指定起始位置	✅ 但依赖 Subscription 初始位置
是否影响其他消费者	❌ 完全独立	✅ 同一订阅下共享消费进度
适用场景	调试、回放、迁移、审计	正常业务消费

📌 关键区别：

• Consumer 是“长期订阅者”，有状态（游标）。
• Reader 是“临时访客”，无状态，自由读取。

---

三、Reader 的核心功能

1. 从任意位置开始读取

Reader 可以从以下位置开始读取：

起始位置	说明
MessageId.earliest	从第一条消息开始（保留策略内）
MessageId.latest	从最新消息开始（只读新消息）
指定 MessageId	从某条具体消息开始
指定时间点	从某个时间戳开始

2. 无需订阅，不干扰现有消费

• 多个 Reader 可同时读取同一 Topic，互不影响。
• 不会改变 Consumer 的消费进度。

3. 支持 Schema

• 与 Consumer 一样，Reader 支持 Schema 反序列化。

Reader<String> reader = client.newReader(Schema.STRING)
    .topic("persistent://mycompany/finance/payments")
    .startMessageId(MessageId.earliest)
    .create();

---

四、Reader 使用示例（Java）

1. 从最早消息开始读取（全量回放）

PulsarClient client = PulsarClient.builder()
    .serviceUrl("pulsar://localhost:6650")
    .build();

Reader<String> reader = client.newReader(Schema.STRING)
    .topic("persistent://mycompany/finance/payments")
    .startMessageId(MessageId.earliest)  // 从第一条开始
    .create();

while (true) {
    Message<String> msg = reader.readNext();  // 阻塞读取
    System.out.printf("Read: %s - %s%n", msg.getMessageId(), msg.getValue());
}

2. 从指定时间开始读取（时间点回放）

long timestamp = System.currentTimeMillis() - TimeUnit.HOURS.toMillis(24); // 24小时前

Reader<String> reader = client.newReader(Schema.STRING)
    .topic("payments")
    .startMessageFromTimestamp(timestamp)  // 从时间点开始
    .create();

3. 从指定 MessageId 开始读取

MessageId startMsgId = ...; // 通过其他方式获取

Reader<String> reader = client.newReader(Schema.STRING)
    .topic("payments")
    .startMessageId(startMsgId)
    .create();

4. 非阻塞读取（带超时）

Message<String> msg = reader.readNext(5, TimeUnit.SECONDS);
if (msg != null) {
    System.out.println("Read: " + msg.getValue());
} else {
    System.out.println("No message in 5 seconds");
}

5. 关闭 Reader

reader.close();   // 或 reader.closeAsync()

⚠️ 忘记关闭会导致连接泄露。

---

五、Reader 的高级用法

1. 批量读取消息

虽然 Reader 本身不支持“批量确认”，但可以一次读取多条：

for (int i = 0; i < 100; i++) {
    Message<String> msg = reader.readNext();
    if (msg == null) break;
    process(msg);
}

2. 结合 Schema 进行类型安全读取

Schema<Order> schema = Schema.AVRO(Order.class);
Reader<Order> reader = client.newReader(schema)
    .topic("orders-topic")
    .startMessageId(MessageId.earliest)
    .create();

Order order = reader.readNext().getValue();  // 自动反序列化

3. 用于数据迁移或备份

// 将 Topic A 的数据读取并写入 Topic B
Reader<byte[]> reader = client.newReader(Schema.BYTES)
    .topic("source-topic")
    .startMessageId(MessageId.earliest)
    .create();

Producer<byte[]> producer = client.newProducer(Schema.BYTES)
    .topic("backup-topic")
    .create();

while (true) {
    Message<byte[]> msg = reader.readNext();
    producer.send(msg.getData());  // 转发
}

4. 用于调试或审计

• 开发人员可使用 Reader 查看某段时间内的消息内容，无需影响线上 Consumer。
• 安全团队可审计敏感 Topic 的历史消息。

---

六、Reader 的限制与注意事项

限制	说明
❌ 不支持 Ack	无法确认消息处理状态
❌ 不支持 NACK / 重试	无法触发重发机制
❌ 不支持背压（Backpressure）自动调节	需手动控制读取速度
❌ 不适用于长期运行的服务	应用于临时任务
⚠️ 受保留策略限制	只能读取未被删除的消息（由 TTL 和 retention 策略决定）

---

七、典型使用场景

场景	说明
🔍 消息回放与调试	开发者查看历史消息，排查问题
📊 数据审计与监控	安全团队分析特定时间段的消息
🔄 数据迁移 / 备份	将旧 Topic 数据迁移到新 Topic 或外部系统
🧪 测试环境填充数据	从生产环境读取消息，注入测试环境
📈 离线分析	将消息导出到数据湖（如 Delta Lake、Iceberg）进行分析
🛠️ 修复数据错误	扫描异常消息并触发补偿逻辑

---

八、最佳实践建议

实践	建议
✅ 用于临时任务	不要将 Reader 用于长期消费
✅ 合理设置起始位置	避免全量扫描大 Topic 导致性能问题
✅ 配合 retention 策略	确保要读取的消息未被删除
✅ 使用 Schema	保证反序列化正确
✅ 控制读取速度	避免对 Broker 造成过大压力
✅ 及时关闭 Reader	防止资源泄露
✅ 日志记录起始位置	便于追溯

---

九、可视化 Reader 工作流程

+---------------------+
|     Pulsar Broker    |
| - 存储所有消息（BookKeeper） |
+----------+----------+
           |
           v
      [Reader Client]
       /     |     \
      /      |      \
     v       v       v
[earliest] [timestamp] [MessageId]
     |       |       |
     v       v       v
+-----------------------------+
|   Application Logic         |
| - 调试、迁移、审计、分析     |
+-----------------------------+

---

✅ 总结

特性	说明
✅ 无订阅读取	不依赖 Subscription，自由读取
✅ 任意起始位置	支持 earliest、latest、时间、MessageId
✅ 不影响其他消费者	完全隔离
✅ 支持 Schema	类型安全
✅ 适合临时任务	回放、调试、迁移、审计
❌ 不支持 Ack/NACK	无法参与消息确认机制

📌 一句话总结：

Reader 是 Pulsar 的“读取特权模式” —— 它让你像“数据库管理员”一样，自由查看任何消息，而不影响正常业务消费。