22、大数据处理：Azure Event Hubs 与 Azure Stream Analytics 详解

大数据处理：Azure Event Hubs 与 Azure Stream Analytics 详解

1. Azure Event Hubs 消息处理与联合

在使用 Azure Event Hubs 时，会接收到一系列消息，例如：

Message received. Partition: '0', Data: 'ec45d759-01bb-41db-ab51-de469ee5da55'
Message received. Partition: '0', Data: 'fcf41b0e-cd6b-465a-ac20-100ba13fd6af'
...

它会逐渐控制一半的可用分区，直到负载达到平衡。在处理来自多个站点的事件时，我们可以利用 Azure Event Hubs 进行消息处理联合。

1.1 联合 - 事件复制

在大多数实际架构中，通常会有多个 Event Hub 实例，特别是在跨多个区域聚合数据的场景中，需要一种方法来合并所有流。在实现基于 Event Hubs 的更高级架构时，应考虑以下模式：
- 消息在多个命名空间中的可用性
- 延迟优化
- 消息的额外验证，可选择进行缩减或丰富
- 预批处理消息以进行进一步分析

根据不同的场景，可以采用不同的方法。有两个服务在管理复杂架构时能提供很大帮助：
- Azure Functions ：可用于无状态复制。这种方法经过充分测试，并且足够灵活，能够处理更复杂的情况。通过所有可用的触发器和输出绑定，