Storm环境搭建

最新推荐文章于 2025-08-24 15:22:07 发布

转载最新推荐文章于 2025-08-24 15:22:07 发布 · 50 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/supersonic/blog/473909

文章标签：

#java #python #ui

本文详细介绍了如何安装Storm依赖库，包括ZeroMQ和JZMQ的安装步骤及常见问题解决方案。此外，还提供了如何配置storm.yaml文件的具体指导，以及如何启动Nimbus、Supervisor和UI进程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2019独角兽企业重金招聘Python工程师标准>>>

1. 安装storm依赖库

1.1 ZeroMQ 2.1.7

下载、解压ZeroMQ，进行安装：

cd zeromq-2.1.7
./configure
make
sudo make install

安装过程可能出现的问题：Unable to find a working C++ compiler，解决如下：

sudo apt-get install g++

1.2 JZMQ

cd jzmq  
./autogen.sh  
./configure  
make  
sudo make install

可能遇到问题：

（1）make[1]: *** 没有规则可以创建“org/zeromq/ZMQ.class”需要的目标“classdist_noinst.stamp”。停止修正方法，创建classdist_noinst.stamp文件：

touch src/classdist_noinst.stamp

（2）错误：无法访问 org.zeromq.ZMQ。修正方法，进入src目录，手动编译相关java代码：

javac -d . org/zeromq/*.java

1.3 Java 6

1.4 Python 2.6.6

2. 下载解压storm

3. 修改storm.yaml配置文件

storm.zookeeper.servers: //Storm集群使用的Zookeeper集群地址
  - "111.222.333.444"
  - "555.666.777.888"
storm.local.dir: "/home/admin/storm/workdir" //Nimbus和Supervisor进程存储少量状态，如本地磁盘目录。
//一般来说ZMQ和JZMQ默认安装在/usr/local/lib 下，因此不需要配置即可。
java.library.path: "/usr/local/lib:/opt/local/lib:/usr/lib" 
//Storm集群Nimbus机器地址，各个Supervisor工作节点需要知道哪个机器是Nimbus，
//以便下载Topologies的jars、confs等文件
nimbus.host: "111.222.333.444"
supervisor.slots.ports://每个Supervisor worker节点配置可运行的worker数量，每个worker占用一个端口。
    - 6700
    - 6701
    - 6702
    - 6703

4. 启动storm进程

bin/storm nimbus >/dev/null 2>&1 & //后台启动进程nimbus
bin/storm supervisor >/dev/null 2>&1 &  //后台启动进程 supervisor
bin/storm ui >/dev/null 2>&1 & // 启动 ui，需要在nimbus中运行

转载于:https://my.oschina.net/supersonic/blog/473909