Storm集群的搭建(1)

本文详细介绍如何从零开始搭建Apache Storm集群,包括Zookeeper集群的搭建、安装依赖软件(如ZeroMQ和JZMQ)、配置Storm及测试启动过程。通过本文,读者能够了解Storm集群部署的全过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Storm集群的搭建

1.Storm集群搭建步骤:

      1)搭建zookeeper集群(已完成)

      2)安装storm依赖的软件

            ZeroMQ:消息处理队列库,可以在多线程环境下,在多个服务器(主机)、内核之间弹性伸缩

            JZMQ:一个底层的消息队列

            JAVA 8

            Python

            unzip

      3)安装配置storm

2.zeroMQ安装

      1)zeromq下载地址:http://zeromq.org/intro:get-the-software

      2)将下载的文件在linux服务器上解压

      3)进入解压的文件夹后执行 ./configure命令

      注意:centOS安装zeroMQ,需要以下的组件

                 yum install gcc

                 yum install gcc-c++

                 yum install make

                 yum install uuid-devel

                 yum install libuuid-devel

                 yum install libtool

      不然会有如下等报错:

      

      4)执行make命令(默认使用的是root账户),或者使用sudo make install安装

      5)执行make install

3.JZMQ安装

      1)安装git依赖:yum install git

      2)下载jzmq:git clone https://github.com/nathanmarz/jzmq.git

      3)cd jzmq

      4)执行./autogen.sh

      5)执行./configure

      6)执行:make

      7)执行make install

      安装过程中可能会出现的问题:

      1.configure: error: cannot find zmq.h

      解决办法:

       export LDFLAGS=-L/usr/local/zeromq/lib/

      export CPPFLAGS=-I/usr/local/zeromq/include/ 

      2.

      make[1]: 进入目录“/usr/local/jzmq/src”
      make[1]: *** 没有规则可以创建“org/zeromq/ZMQ.class”需要的目标“classdist_noinst.stamp”。 停止。
      make[1]: 离开目录“/usr/local/jzmq/src”
      make: *** [all-recursive] 错误 1

      解决办法:touch src/classdist_noinst.stamp 

      3、没有规则可以创建“all”需要的目标“org/zeromq/ZMQ$Context.class

      解决办法:touch src/org/zeromq/ZMQ$Context.class

      4.错误: 找不到 'org.zeromq.ZMQ' 的类文件。
      make[1]: *** [org_zeromq_ZMQ.h] 错误 1
      make[1]: 离开目录“/usr/local/jzmq/src”
      make: *** [all-recursive] 错误 1
      [root@master jzmq]# cd src/org/zeromq/

      进入src目录执行命令

      javac -d . org/zeromq/*.java

4.Storm安装

      1)storm下载地址:http://storm.apache.org/downloads.html

      2)将下载的文件在linux服务器上解压

      3)进入解压的文件夹/conf

      4)修改storm.yaml文件

      修改内容:

      这里需要注意空格的问题,否则在启动的时候会报错

      

      并添加如下内容:

      

      这个是对集群端口的设置;

      添加storm.ui: 8081        //可视化界面的端口号

      添加storm.local.dir:"/opt/storm/apache-storm-1.2.2/data"到storm.yaml文件中,并在根目录下创建data文件夹

      配置文件简单的概述:

      storm.zookeeper.servers:是一个为Storm集群配置的Zookeeper集群的主机列表

      storm.local.dir:Nimbus和Supervisor守护程序需要一个本地磁盘目录存储少量的状态,每台机器都创建这些目录,可写权限

      supervisor.slots.ports:每一台worker机器,都需要一个端口号来接收消息,这个参数可以定义那些端口号是打开的并且可以使用

      注意:这里的java 8 python安装请自行解决!

5.测试启动

     1)启动zookeeper集群

     2)进入到storm安装目录下面/bin

     3)在bin目录下执行 ./storm numbis命令,出现如下界面表示配置成功

         

      4)使用scp命令给其他服务器上上传配置好的文件

      5)关闭之前开启的storm进程

      6)在将所有的启动进程交给nohup进行管理

        启动nimbus:

        

        启动ui

        

        查看启动日志(这里我们可以看到启动的端口)

        

        因为我电脑配置的问题,只有两台虚拟机,所以这里我再在这台虚拟机上启动一个supervisor

        

        然后再在另一台服务器上启动一个supervisor

      7)在浏览器上输入http://192.168.58.129:8081查看集群搭建情况

        

     如果出现如下页面,那么恭喜你集群搭建成功了!!!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值