Pulsar 事务消息（Transactional Messaging）详解

Pulsar 事务消息（Transactional Messaging） 是 Pulsar 提供的一项高级功能，用于实现 跨多个 Topic、多个分区、甚至多个操作（生产 + 消费）的原子性，从而支持 端到端的 Exactly-Once 处理语义。

这对于金融交易、库存扣减、状态机更新等对一致性要求极高的场景至关重要。

---

📘 Pulsar 事务消息（Transactional Messaging）详解

---

一、为什么需要事务消息？

在分布式消息系统中，常见的需求是：

“我需要在一个事务中：消费一条消息 + 发布多条消息，要么全部成功，要么全部失败。”

典型场景：

1. 订单处理：

   • 消费“支付成功”消息
   • 发送“发货通知” + “积分增加” + “库存扣减”
   • 要求：不能只发部分消息

2. ETL 流水线：

   • 读取原始事件
   • 转换后写入多个 Topic
   • 确保不重复处理、不丢失

3. 状态更新：

   • 消费事件 → 更新数据库 → 发布新状态
   • 要求：原子性

Without 事务，可能出现：

• 消费了消息但未发送下游（重复消费）
• 发送了部分消息后失败（数据不一致）

✅ Pulsar 事务解决了这个问题。

---

二、Pulsar 事务的核心能力

能力	说明
✅ 跨 Topic 事务	一个事务可涉及多个 Topic
✅ 跨分区事务	支持向同一 Topic 的多个分区发送消息
✅ 消费-生产原子性	consume + produce 可在一个事务中
✅ Exactly-Once 语义	实现端到端精确一次处理
✅ 事务持久化	事务状态由 Broker 持久化，支持故障恢复

⚠️ 注意：Pulsar 事务是 单个 Producer 粒度的，不支持跨 Producer 的分布式事务（如 XA）。

---

三、事务基本概念

术语	说明
Transaction ID（TXNID）	唯一标识一个事务，由 Broker 分配
Transaction Coordinator（TC）	Broker 内部组件，负责管理事务生命周期
Transaction Buffer	存储未提交的事务消息，消费者不可见
Commit	提交事务，消息对消费者可见
Abort	中止事务，消息被丢弃

📌 事务消息在 commit 之前对所有消费者不可见，即使使用 Reader 也无法读取。

---

四、事务 API 使用详解（Java）

1. 启用事务支持

在 broker.conf 中启用事务：

# 启用事务协调器
transactionCoordinatorEnabled=true

# 事务日志存储（BookKeeper）
transactionLogRetentionTimeInMinutes=1440

Producer 和 Consumer 需要显式启用事务。

---

2. 创建事务 Producer

PulsarClient client = PulsarClient.builder()
    .serviceUrl("pulsar://localhost:6650")
    .enableTransaction(true)  // 启用事务支持
    .build();

---

3. 开启事务并发送消息

// 1. 开始一个新事务
Transaction txn = client.newTransaction()
    .withTransactionTimeout(30, TimeUnit.SECONDS)
    .build()
    .get();  // 异步获取 Transaction 对象

try {
    // 2. 创建支持事务的 Producer
    Producer<String> producer = client.newProducer(Schema.STRING)
        .topic("orders")
        .create();

    // 3. 在事务中发送多条消息
    producer.newMessage(txn)  // 关联事务
        .value("Order #123: Shipped")
        .property("status", "shipped")
        .send();

    producer.newMessage(txn)
        .value("Inventory: Deduct item-456")
        .topic("inventory-updates")
        .send();

    // 4. 提交事务 → 所有消息同时可见
    txn.commit().get();
    System.out.println("Transaction committed");

} catch (Exception e) {
    // 5. 发生异常 → 中止事务
    txn.abort().get();
    System.out.println("Transaction aborted");
}

---

4. 事务消费（Consume in Transaction）

Pulsar 支持在事务中 确认（ack）消息，实现“消费-生产”原子性。

Consumer<String> consumer = client.newConsumer(Schema.STRING)
    .topic("payments")
    .subscriptionName("payment-processor")
    .subscribe();

// 开启事务
Transaction txn = client.newTransaction()
    .withTransactionTimeout(30, TimeUnit.SECONDS)
    .build()
    .get();

try {
    Message<String> msg = consumer.receive();

    // 处理业务逻辑（如扣库存）
    Producer<String> producer = client.newProducer(Schema.STRING).topic("notifications").create();
    producer.newMessage(txn).value("Payment confirmed").send();

    // 在事务中确认消费
    consumer.acknowledgeAsync(msg, txn);  // 不是普通 ack！

    // 提交：消费 + 发送 同时生效
    txn.commit().get();

} catch (Exception e) {
    txn.abort().get();
}

✅ 关键：使用 acknowledgeAsync(msg, txn) 而不是 acknowledge(msg)。

---

五、事务的 Exactly-Once 语义实现

Pulsar 通过以下机制实现 端到端 Exactly-Once：

步骤	说明
1. Producer 去重	每条消息带 (producer_id, sequence_id)，防止重复发送
2. 事务原子性	多条消息要么全提交，要么全回滚
3. 事务消费确认	消费和发送绑定在同一事务，防止重复处理
4. Broker 持久化事务状态	即使宕机也能恢复

✅ 结果：即使发生故障，也不会丢失或重复消息。

---

六、事务的限制与注意事项

限制	说明
❌ 不支持跨 Producer 事务	一个事务只能绑定一个 Producer
⚠️ 性能开销	事务有额外延迟，吞吐低于普通发送
⚠️ 事务超时必须设置	防止事务长时间占用资源
⚠️ 消费者需支持事务 ACK	普通 Consumer 无法参与事务
⚠️ 不支持非持久化 Topic	non-persistent:// 不支持事务
⚠️ 资源消耗较高	事务状态需内存和日志存储

✅ 建议：仅在必要场景使用事务，避免滥用。

---

七、事务生命周期与状态

状态	说明
OPEN	事务已创建，可添加操作
COMMITTING	正在提交
ABORTING	正在中止
COMMITTED	已提交，消息可见
ABORTED	已中止，消息丢弃

事务状态由 Transaction Coordinator 管理，存储在 BookKeeper 中。

---

八、最佳实践建议

实践	建议
✅ 仅关键业务使用事务	如金融、订单、库存
✅ 设置合理的超时时间	推荐 10s ~ 60s
✅ 捕获异常并 abort	防止事务悬挂
✅ 监控事务提交率	关注 abort 率是否过高
✅ 结合 Schema 使用	保证数据一致性
✅ 避免大事务	减少锁竞争和资源占用
✅ 使用幂等消费者	作为事务失败的兜底

---

九、可视化：事务流程图（文字描述）

+---------------------+
|   Application Logic  |
+----------+----------+
           |
           v
   client.newTransaction()
           |
           v
+----------+----------+
|   Transaction (TXN)  |
| - 状态：OPEN          |
+----------+----------+
           |
     +-----+-----+
     |           |
     v           v
+----+----+ +----+----+
| Producer | | Consumer |  → 发送消息 / 确认消息（关联 TXN）
+---------+ +---------+
           |
           v
     txn.commit() 或 txn.abort()
           |
           v
+----------+----------+
| Transaction Coordinator |
| - 持久化状态           |
| - 通知所有参与者        |
+----------+----------+
           |
           v
   消息对消费者可见（commit）
   或 消息丢弃（abort）

---

✅ 总结

特性	说明
✅ 跨 Topic/分区事务	支持复杂业务流程
✅ Exactly-Once 语义	端到端精确一次处理
✅ 消费-生产原子性	consume + produce 原子提交
✅ 高可靠性	事务状态持久化，支持恢复
⚠️ 性能开销	比普通消息慢，吞吐低
⚠️ 使用复杂	需要显式管理 commit/abort

📌 一句话总结：

Pulsar 事务是“一致性”的终极保障 —— 通过 newTransaction、commit、abort，你可以实现跨多个操作的原子性，构建真正可靠的金融级消息系统。