黑白影的博客

一、Storm1.1 简介Storm 是一个开源的分布式实时计算框架，可以以简单、可靠的方式进行大数据流的处理。通常用于实时分析，在线机器学习、持续计算、分布式RPC、ETL等场景。Storm具有以下特点：支持水平横向扩展；具有高容错性，通过ACK机制每个消息都不丢失；处理速度非常快，每个节点每秒能处理超过一百万个tuples ；易于设置和操作，并可以与任何编程语言一起使用；支持本...

一、Storm核心概念 1.1 Topologies（拓扑）一个完整的Storm流处理程序被称为Storm topology(拓扑)。它是一个是由Spouts 和Bolts通过Stream连接起来的有向无环图，Storm会保持每个提交到集群的topology持续地运行，从而处理源源不断的数据流，直到你将主动其杀死(kill)为止。1.2 Streams（流）Stream是Stor...

1. 安装环境要求you need to install Storm’s dependencies on Nimbus and the worker machines. These are:Java 7+ (Apache Storm 1.x is tested through travis ci against both java 7 and java 8 JDKs)Python 2.6...

一、集群规划这里搭建一个3节点的Storm集群：三台主机上均部署Supervisor和LogViewer服务。同时为了保证高可用，除了在hadoop001上部署主Nimbus服务外，还在hadoop002上部署备用的Nimbus服务。Nimbus服务由Zookeeper集群进行协调管理，如果主Nimbus不可用，则备用Nimbus会成为新的主Nimbus。 二、前置条件Storm 运行依...

一、简介下图为Strom的运行流程图，在开发Storm流处理程序时，我们需要采用内置或自定义实现spout(数据源)和bolt(处理单元)，并通过TopologyBuilder将它们之间进行关联，形成Topology。 二、IComponent接口IComponent接口定义了Topology中所有组件(spout/bolt)的公共方法，自定义的spout或bolt必须直接或间接实现这个...

一、简介在将Storm Topology提交到服务器集群运行时，需要先将项目进行打包。本文主要对比分析各种打包方式，并将打包过程中需要注意的事项进行说明。主要打包方式有以下三种：第一种：不加任何插件，直接使用mvn package打包；第二种：使用maven-assembly-plugin插件进行打包；第三种：使用maven-shade-plugin进行打包。以下分别进行详细的说明。...

一、简介Storm-Redis提供了Storm与Redis的集成支持，你只需要引入对应的依赖即可使用：<dependency> <groupId>org.apache.storm</groupId> <artifactId>storm-redis</artifactId> <version>${st...

一、Storm集成HDFS1.1 项目结构 本用例源码下载地址：storm-hdfs-integration1.2 项目主要依赖项目主要依赖如下，有两个地方需要注意：这里由于我服务器上安装的是CDH版本的Hadoop，在导入依赖时引入的也是CDH版本的依赖，需要使用<repository>标签指定CDH的仓库地址；hadoop-common、hadoop-clie...

一、整合说明Storm官方对Kafka的整合分为两个版本，官方说明文档分别如下：Storm Kafka Integration : 主要是针对0.8.x版本的Kafka提供整合支持；Storm Kafka Integration (0.10.x+) : 包含Kafka 新版本的 consumer API，主要对Kafka 0.10.x +提供整合支持。这里我服务端安装的Kafka版本为...