鸟人的博客

今天接上文，来实现一个Storm数据流处理综合案例的，Storm集群向Kafka集群源源不断，并部署为远程模式。

今天来实现一个Storm数据流处理案例，Storm集群A向Kafka集群源源不断写入数据，Storm集群B从Kafka集群源源不断拉取数据，解析后存入MySQL数据库其中，Storm集群A和Kafka集群部署在远端服务器上，Storm集群B和MySQL数据库部署在本地。

一、整合说明二、写入数据到Kafka三、从Kafka中读取数据。

本文搭建的是3节点的集群，需要3台linux服务器，我这里使用的是centos7版本的linux虚拟机，虚拟机网络配置如下：注：每台linux服务器的时间保持一致。

将本地测试好的Topology发布到远程Storm集群里，并启动。

在将 Storm Topology 提交到服务器集群运行时，需要先将项目进行打包。本文主要对比分析各种打包方式，并将打包过程中需要注意的事项进行说明。第一种：不加任何插件，直接使用 mvn package 打包；第二种：使用 maven-assembly-plugin 插件进行打包；第三种：使用 maven-shade-plugin 进行打包。以下分别进行详细的说明。

Storm-Redis 提供了 Storm 与 Redis 的集成支持，你只需要引入对应的依赖即可使用：

这里我服务端安装的 Kafka 版本为 2.2.0(Released Mar 22, 2019) ，按照官方 0.10.x+ 的整合文档进行整合，不适用于 0.8.x 版本的 Kafka。可以用直接使用本地模式运行，也可以打包后提交到服务器集群运行。接口定义了 Kafka 中 Record 与输出流之间的映射关系，可以在构建。中 定义了 tuple 中所有可用的字段：主题，分区，偏移量，消息键，值。字段中获取 kafka 输出的值数据。方法传入，并最后传递给具体的。在开发中，我们可以通过继承。

指定 count 字段，被指定的字段会自动进行累加操作，这样也可以实现词频统计。需要注意的是 withCounterFields 指定的字段必须是 Long 类型，不能是 String 类型。这里 HDFS 的地址和数据存储路径均使用了硬编码，在实际开发中可以通过外部传参指定，这样程序更为灵活。在上面的用例中我们是手动编码来实现词频统计，并将最后的结果存储到 HBase 中。可以用直接使用本地模式运行，也可以打包后提交到服务器集群运行。可以用直接使用本地模式运行，也可以打包后提交到服务器集群运行。

1 个 Worker 进程执行的是 1 个 Topology 的子集，不会出现 1 个 Worker 为多个 Topology 服务的情况，因此 1 个运行中的 Topology 就是由集群中多台物理机上的多个 Worker 进程组成的。Topology 启动后，1 个 Component 的 Task 数目是固定不变的，但该 Component 使用的 Executor 线程数可以动态调整（例如：1 个 Executor 线程可以执行该 Component 的 1 个或多个 Task 实例）。

Storm 是一个开源的分布式实时计算框架，可以以简单、可靠的方式进行大数据流的处理。通常用于实时分析，在线机器学习、持续计算、分布式 RPC、ETL 等场景。支持水平横向扩展；具有高容错性，通过 ACK 机制每个消息都不丢失；处理速度非常快，每个节点每秒能处理超过一百万个 tuples；易于设置和操作，并可以与任何编程语言一起使用；支持本地模式运行，对于开发人员来说非常友好；支持图形化管理界面。

下图为 Strom 的运行流程图，在开发 Storm 流处理程序时，我们需要采用内置或自定义实现spout(数据源) 和bolt(处理单元)，并通过将它们之间进行关联，形成Topology。这里我们使用自定义的产生词频数据，然后使用自定义的SplitBolt和CountBolt来进行词频统计。

Storm从Kafka中消费消息。

统计谁给谁打了多少次的电话。

比较简单，就略过了。

storm集群由一个主节点(nimbus)和一个或者多个工作节点（supervisor）组成。：storm 的主节点，类似于Hadoop中的jobtracker，管理、协调和监控在集群上运行的Topology。包括Topology的发布，事件处理失败时重新指派任务：每个工作节点运行Supervisor守护进程，负责监听工作节点上已经分配的主机作业，启动和停止Nimbus已经分配的工作进程。

远程模式(Remote Mode)我们把我们的Topology打成jar包，通过客户端（client）提交到storm集群。Storm的所有组件都是线程安全的，因为它们都会运行在不同的Jvm或物理机器上。这个模式就是正式的生产模式。

1、本地模式(Local Mode)： 即Topology（相当于一个任务，后续会详细讲解） 运行在本地机器的单一JVM上，这个模式主要用来开发、调试。2、远程模式(Remote Mode):在这个模式，我们把我们的Topology提交到集群，在这个模式中，Storm的所有组件都是线程安全的，因为它们都会运行在不同的Jvm或物理机器上，这个模式就是正式的生产模式。

本文搭建的是3节点的集群，需要3台linux服务器，我这里使用的是centos7版本的linux虚拟机，虚拟机网络配置如下：主节点：从节点：注：每台linux服务器的时间保持一致虚拟机搭建详见《centos虚拟机搭建与网络配置》

Storm 是 Apache 旗下免费开源的分布式实时计算框架。Storm可以轻松、可靠地处理无限数据流，对实时分析、在线机器学习、连续计算、分布式RPC，ETL等提供高效、可靠的支持。分布式计算，将一个任务分解为多个任务，分发给多台计算机，节约整体计算时间。