大数据Kafka与Storm整合

在本章中，我们将学习如何将Kafka与Apache Storm集成。

Storm是什么？

Storm最初是由Nathan Marz和BackType团队创建的。 在很短的时间内，Apache Storm成为分布式实时处理系统的标准，用于处理大数据。 Storm速度非常快，每个节点每秒处理超过一百万个元组的基准时钟。 Apache Storm持续运行，从配置的源(Spouts)中消耗数据并将数据传递到处理管道(Bolts)。 组合 Spouts 和 Bolts 构成一个拓扑。

与Storm整合

Kafka和Storm自然而然地相互补充，它们强大的合作能够实现快速移动大数据的实时流式分析。 Kafka和Storm的整合使得开发者更容易从Storm拓扑中获取和发布数据流。

概念流程

喷口(spout)是流的来源。 例如，spout可能会读取卡夫卡主题中的元组并将其作为流发送。 Bolts消耗输入流，处理并可能发射新的流。 Bolts可以做任何事情，从运行功能，过滤元组，流聚合，流式连接，与数据库交互等等。 Storm拓扑中的每个节点并行执行。 一个拓扑无限期地运行，直到终止它。 Storm会自动重新分配任何失败的任务。 此外，即使机器停机并且信息丢失，Storm也可以保证不会丢失数据。

下面来看看Kafka-Storm集成API。 有三个主要类将Kafka和Storm结合在一起。 他们如下 –

BrokerHosts – ZkHosts＆StaticHosts

BrokerHosts是一个接口，ZkHosts和StaticHosts是它的两个主要实现。 ZkHosts用于通过在ZooKeeper中维护详细信息来动态跟踪Kafka经纪人，而StaticHosts用于手动/静态设置Kafka经纪人及其详细信息。 ZkHosts是访问Kafka经纪人的简单而快捷的方式。

ZkHosts的签名如下 –

public ZkHosts(String brokerZkStr, String brokerZkPath)  public ZkHosts(String brokerZkStr)  

其中brokerZkStr是ZooKeeper主机，brokerZkPath是维护Kafka代理细节的ZooKeeper路径。

public KafkaConfig(BrokerHosts hosts, string topic)  

参数

• hosts – BrokerHosts可以是ZkHosts / StaticHosts。
• topic – 主题名称。

SpoutConfig API

Spoutconfig是KafkaConfig的扩展，支持额外的ZooKeeper信息。

public SpoutConfig(BrokerHosts hosts, string topic, string zkRoot, string id)  

参数

• hosts – BrokerHosts可以是BrokerHosts接口的任何实现
• topic – 主题名称。
• zkRoot – ZooKeeper根路径。
• id – spout<