storm_安装与配置

最新推荐文章于 2025-06-06 09:20:14 发布

qq_41665356

最新推荐文章于 2025-06-06 09:20:14 发布

阅读量472

点赞数 2

CC 4.0 BY-SA版权

分类专栏： storm

本文链接：https://blog.youkuaiyun.com/qq_41665356/article/details/84872048

storm 专栏收录该内容

12 篇文章

订阅专栏

本文详细介绍了Apache Storm集群的安装步骤，包括搭建ZooKeeper集群，安装storm依赖库（如ZeroMQ、JZMQ、Netty），配置storm.yaml文件，并启动nimbus、ui、drpc、supervisor和logviewer等守护进程。特别提到，Storm默认使用ZeroMQ，但可通过配置使用Netty以提升性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

安装storm集群的步骤如下：

搭建ZooKeeper集群;
安装storm依赖库;
下载并解压storm发行版本;
配置storm.yaml文件;
启动storm的各个守护进程;

1.搭建zookeeper集群

详见zookeeper章节。

2.安装storm依赖库

2.1消息传输机制

消息队列ZeroMQ和JZMQ

ZMQ(以下ZeroMQ简称ZMQ)是一个简单好用的传输层，像框架一样的一个socket library，他使得Socket编程更加简单、简洁和性能更高。是一个消息处理队列库，可在多个线程、内核和主机盒之间弹性伸缩。ZMQ的明确目标是“成为标准网络协议栈的一部分，之后进入Linux内核”。现在还未看到它们的成功。但是，它无疑是极具前景的、并且是人们更加需要的“传统”BSD套接字之上的一层封装。ZMQ让编写高性能网络应用程序极为简单和有趣。

JZMQ是对ZMQ的Java绑定。

消息队列Netty

Netty是由JBOSS提供的一个java开源框架。Netty提供异步的、事件驱动的网络应用程序框架和工具，用以快速开发高性能、高可靠性的网络服务器和客户端程序。

也就是说，Netty 是一个基于NIO的客户，服务器端编程框架，使用Netty 可以确保你快速和简单的开发出一个网络应用，例如实现了某种协议的客户，服务端应用。Netty相当简化和流线化了网络应用的编程开发过程，例如，TCP和UDP的socket服务开发。

Storm使用Netty和ZeroMQ两种消息传递机制，默认是ZeroMQ。Netty比ZMQ的网络传输性能快一倍以上。

Netty是Storm 0.9 里面引入的新的消息传输机制，在这之前消息传输机制是写死的用的 ZeroMQ, 而在 Storm 发展的过程中发现 ZeroMQ(JZMQ) 存在一些问题，比如 ZeroMQ 本身是 C 实现的，所使用的内存不受 Java 的控制，是的我们没有办法通过-Xmx 参数来调节 Storm 的内存使用；ZeroMQ 对于 Storm 来说有点黑盒的感觉，因此 Storm 想要获得的一些信息比如有多少消息被 buffer 了没有发送出去是获得不了的；而也因为 ZeroMQ 是非 Java 实现的，使得 Storm 的安装过程复杂了一些。

新引入的消息传输机制使得消息传输机制是可以被配置替换的，这意味着我们不必被捆绑于某种具体的传输机制比如 ZeroMQ，来自 Yahoo 的 Andy Feng 实现了一个基于 Netty 的纯 Java 的消息传输机制。虽然说消息传输机制是可以被替换的，但是要实现一个可用的消息传输层还是需要满足一些条件的，以满足 Storm 的语意：* 消息发送方可以在连接建立之前发送消息，而不需要等连接建立起来，因为这时候消息接收方可能还没有运行起来。因此这就需要在消息传输的 Client 端有个 buffer，在连接没有建立之前把要发送的消息 buffer 起来。* 在消息传输层，消息『最多只能发送一次』，因为在 Storm 层面有 ACK 机制来保证没有被发送成功的消息会被重发，如果传输层面自己再重发，会导致消息被发多次。

2.2安装Python2.6.6

Linux系统一般自带python软件。

如果python的版本不够高或者没有安装，可以使用yum install python命令进行在线安装或升级。

3.下载并解压storm发行版本

3.1下载storm版本

官网下载地址：

https://storm.apache.org/downloads.html

3.2复制到/opt/storm

使用xftp工具，将解压出来的storm内容复制到/opt/storm目录：

修改opt/storm目录的所有者为当前用户（gary）

sudo chown –R gary /opt/storm

修改访问权限为777

sudo chmod –R 777 /opt/storm

3.3配置环境变量

在/etc/profile中最后添加如下两行：

export STORM_HOME=/usr/local/storm-0.9.5

export PATH=$PATH:$STORM_HOME/bin

source /etc/profile

使其立即生效

echo $STORM _HOME 测试

输出了内容，环境变量设置成功。

4.1配置storm.yaml文件

在/opt/storm/conf下有一个storm的配置文件：storm.yaml：

默认里面的内容全是注释着的，即为空。

因为本例中，zookeeper集群的节点主机为zoo1~zoo3,Nimbus进程的节点主机为zoo1，supervisor进程的节点主机为zoo2、zoo3.因此配置如下：

storm.zookeeper.servers:

- "zoo1"

- "zoo2"

- "zoo3"

nimbus.host: "zoo1"

drpc.servers:

- "zoo1"

ui.port: 8085

supervisor.slots.ports:

- 6700

- 6701

- 6702

- 6703

storm.local.dir: "/opt/storm/workdir"

后面黄色部分是后加的，没加之前storm ui出不来。

storm.local.dir: Nimbus和Supervisor进程用于存储少量状态，如jars、confs等的本地磁盘目录，需要提前创建该目录并给以足够的访问权限。

supervisor.slots.ports: 对于每个Supervisor工作节点，需要配置该工作节点可以运行的worker数量。每个worker占用一个单独的端口用于接收消息，该配置选项即用于定义哪些端口是可被worker使用的。默认情况下，每个节点上可运行4个workers，分别在6700、6701、6702和6703端口。

nimbus.host: Storm集群Nimbus机器地址，各个Supervisor工作节点需要知道哪个机器是Nimbus，以便下载Topologies的jars、confs等文件。

配置项	配置说明
storm.zookeeper.servers	ZooKeeper服务器列表
storm.zookeeper.port	ZooKeeper连接端口
storm.local.dir	storm使用的本地文件系统目录(必须存在并且storm进程可读写)
storm.cluster.mode	Storm集群运行模式([distributed\|local])
storm.local.mode.zmq	Local模式下是否使用ZeroMQ作消息系统，如果设置为false则使用java消息系统。默认为false
storm.zookeeper.root	ZooKeeper中Storm的根目录位置
storm.zookeeper.session.timeout	客户端连接ZooKeeper超时时间
storm.id	运行中拓扑的id,由storm name和一个唯一随机数组成。
nimbus.host	nimbus服务器地址
nimbus.thrift.port	nimbus的thrift监听端口
nimbus.childopts	通过storm-deploy项目部署时指定给nimbus进程的jvm选项
nimbus.task.timeout.secs	心跳超时时间，超时后nimbus会认为task死掉并重分配给另一个地址。
nimbus.monitor.freq.secs	nimbus检查心跳和重分配任务的时间间隔.注意如果是机器宕掉nimbus会立即接管并处理。
nimbus.supervisor.timeout.secs	supervisor的心跳超时时间,一旦超过nimbus会认为该supervisor已死并停止为它分发新任务.
nimbus.task.launch.secs	task启动时的一个特殊超时设置.在启动后第一次心跳前会使用该值来临时替代nimbus.task.timeout.secs.
nimbus.reassign	当发现task失败时nimbus是否重新分配执行。默认为真，不建议修改。
nimbus.file.copy.expiration.secs	nimbus判断上传/下载链接的超时时间，当空闲时间超过该设定时nimbus会认为链接死掉并主动断开
ui.port	Storm UI的服务端口
drpc.servers	DRPC服务器列表，以便DRPCSpout知道和谁通讯
drpc.port	Storm DRPC的服务端口
supervisor.slots.ports	supervisor上能够运行workers的端口列表.每个worker占用一个端口,且每个端口只运行一个worker.通过这项配置可以调整每台机器上运行的worker数.(调整slot数/每机)
supervisor.childopts	在storm-deploy项目中使用,用来配置supervisor守护进程的jvm选项
supervisor.worker.timeout.secs	supervisor中的worker心跳超时时间,一旦超时supervisor会尝试重启worker进程.
supervisor.worker.start.timeout.secs	supervisor初始启动时，worker的心跳超时时间，当超过该时间supervisor会尝试重启worker。因为JVM初始启动和配置会带来的额外消耗，从而使得第一次心跳会超过supervisor.worker.timeout.secs的设定
supervisor.enable	supervisor是否应当运行分配给他的workers.默认为true,该选项用来进行Storm的单元测试,一般不应修改.
supervisor.heartbeat.frequency.secs	supervisor心跳发送频率(多久发送一次)
supervisor.monitor.frequency.secs	supervisor检查worker心跳的频率
worker.childopts	supervisor启动worker时使用的jvm选项.所有的”%ID%”字串会被替换为对应worker的标识符
worker.heartbeat.frequency.secs	worker的心跳发送时间间隔
task.heartbeat.frequency.secs	task汇报状态心跳时间间隔
task.refresh.poll.secs	task与其他tasks之间链接同步的频率.(如果task被重分配,其他tasks向它发送消息需要刷新连接).一般来讲，重分配发生时其他tasks会理解得到通知。该配置仅仅为了防止未通知的情况。
topology.debug	如果设置成true，Storm将记录发射的每条信息。
topology.optimize	master是否在合适时机通过在单个线程内运行多个task以达到优化topologies的目的.
topology.workers	执行该topology集群中应当启动的进程数量.每个进程内部将以线程方式执行一定数目的tasks.topology的组件结合该参数和并行度提示来优化性能
topology.ackers	topology中启动的acker任务数.Acker保存由spout发送的tuples的记录，并探测tuple何时被完全处理.当Acker探测到 tuple被处理完毕时会向spout发送确认信息.通常应当根据topology的吞吐量来确定acker的数目，但一般不需要太多.当设置为0时,相当于禁用了消息可靠性,storm会在spout发送tuples后立即进行确认.
topology.message.timeout.secs	topology中spout发送消息的最大处理超时时间.如果一条消息在该时间窗口内未被成功ack,Storm会告知spout这条消息失败。而部分spout实现了失败消息重播功能。
topology.kryo.register	注册到Kryo(Storm底层的序列化框架)的序列化方案列表.序列化方案可以是一个类名,或者是com.esotericsoftware.kryo.Serializer的实现.
topology.skip.missing.kryo.registrations	Storm是否应该跳过它不能识别的kryo序列化方案.如果设置为否task可能会装载失败或者在运行时抛出错误.
topology.max.task.parallelism	在一个topology中能够允许的最大组件并行度.该项配置主要用在本地模式中测试线程数限制.
topology.max.spout.pending	一个spout task中处于pending状态的最大的tuples数量.该配置应用于单个task,而不是整个spouts或topology.
topology.state.synchronization.timeout.secs	组件同步状态源的最大超时时间(保留选项,暂未使用)
topology.stats.sample.rate	用来产生task统计信息的tuples抽样百分比
topology.fall.back.on.java.serialization	topology中是否使用java的序列化方案
zmq.threads	每个worker进程内zeromq通讯用到的线程数
zmq.linger.millis	当连接关闭时,链接尝试重新发送消息到目标主机的持续时长.这是一个不常用的高级选项,基本上可以忽略.
java.library.path	JVM启动(如Nimbus,Supervisor和workers)时的java.library.path设置.该选项告诉JVM在哪些路径下定位本地库.