27、Trident 技术详解与应用指南

Trident 技术详解与应用指南

1. Trident 流中的分区

分区从 Trident 喷口（spout）开始。Trident 喷口与 Storm 喷口有很大不同，它会发出一个流，然后对该流应用一系列 Trident 操作。这个流会被分区，以为拓扑提供并行性。Trident 会将这个分区后的流分解成一系列小批次，每个批次包含数千到数百万个元组，具体数量取决于输入吞吐量。

调整喷口处的分区数量，可通过调整订阅的 Kafka 主题的分区数量来实现。例如，如果 Kafka 主题有一个分区，那么拓扑也从一个分区开始；若将 Kafka 主题的分区增加到三个，Trident 拓扑中的分区数量也会相应改变。

以下是分区流的简单示意：

Trident stream
We have three batches of tuples, with each batch
spread across three separate partitions.
Batch 2
Partition 1
Partition 2
Partition 3
Trident stream
Spout
Operation
Each batch
can contain tens
to millions of
tuples, depending
on throughput.
[name="value"]
Batch 1
[name="value"]
Batch 3
[name="value"]
[name="value"]
[name="value"]
[name="value"]
[name="value"]
[name="value"]