Storm安装配置

最新推荐文章于 2025-05-07 15:53:31 发布

原创最新推荐文章于 2025-05-07 15:53:31 发布 · 540 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#storm

storm 专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍如何在CentOS系统中部署Apache Storm集群，包括主机名及IP设置、关闭防火墙、安装配置JDK、编译安装ZMQ与JZMQ、配置与启动Zookeeper、配置与启动Storm组件等关键步骤。

1.修改主机名

vim /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=MASTER

2.设置主机IP

centos6直接使用图形界面设置更方便
vim /etc/sysconfig/network-scripts/ifcfg-eth0


BOOTPROTO="static"
HWADDR="00:0C:29:FC:62:B6"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="d0731a46-36df-4ab1-9bac-42bb151acc41"
IPADDR="192.168.1.250"
NETMASK="255.255.255.0"
GATEWAY="192.168.1.1"
DNS1="8.8.8.8"
DNS2="8.8.4.4"

3.修改主机和IP的映射关系

vim /etc/hosts

--追加
192.168.1.250   MASTER
192.168.1.251   SLAVE-1
192.168.1.252   SLAVE-2

4.关闭防火墙

vim /etc/sysconfig/selinux

SELINUX=disabled  （禁用该属性）

service iptables stop
chkconfig iptables off

重启
reboot

5.上传安装包

6.解压安装JDK

chmod +x jdk-6u45-linux-x64.bin
./jdk-6u45-linux-x64.bin

7.配置环境变量

vim /etc/profile
在文件最后面追添加：

#set Java environment  
export JAVA_HOME=/opt/java/jdk1.6.0_45
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar  
export PATH=$PATH:$JAVA_HOME/bin  
export JRE_HOME=$JAVA_HOME/jre

更新配置，使配置及时生效：
source /etc/profile

上传zeromq-2.1.7.tar.gz、jzmq-master.zip、storm-0.8.2.zip、zookeeper-3.4.5.tar.gz等文件

8.编译安装ZMQ：

tar -xzf zeromq-2.1.7.tar.gz
cd zeromq-2.1.7
./configure
编译可能会出错：configure: error: Unable to find a working C++ compiler
安装一下依赖的rpm包：libstdc++-devel gcc-c++
可以上网的情况下：
yum install gcc-c++
虚拟机不能上网情况：首先到http://mirrors.163.com/centos/6.4/os/x86_64/Packages/ 下载rpm
rpm -i libstdc++-devel-4.4.7-3.el6.x86_64.rpm
rpm -i gcc-c++-4.4.7-3.el6.x86_64.rpm
rpm -i libuuid-devel-2.17.2-12.9.el6.x86_64.rpm

./configure
make
make install

9.编译安装JZMQ：

cd jzmq
./autogen.sh
报错:autogen.sh: error: could not find libtool. libtool is required to run autogen.sh. 缺少libtool
yum install libtool
或者手动安装
rpm -i autoconf-2.63-5.1.el6.noarch.rpm
rpm -i automake-1.11.1-4.el6.noarch.rpm
rpm -i libtool-2.2.6-15.5.el6.x86_64.rpm

./configure
make
make install

10：安装解压zookeeper

解压：tar -zxvf zookeeper-3.4.5.tar.gz
配置：cp zoo_sample.cfg zoo.cfg
启动zookeeper： ./zkServer.sh start

11：配置storm
unzip storm-0.8.2.zip
配置 storm.yaml

--修改该部分
storm.zookeeper.servers:
     - "MASTER"
nimbus.host: "MASTER"

启动 storm :./storm nimbus

启动storm监控： ./storm ui> /opt/stormlog/log 2>&1 & (后台启动)
查看监控信息：http://192.168.128.30:8080/

集群启动顺序

1：启动 zookeeper
./zkServer.sh start
2:启动nimbus
./storm nimbus >../logs/info 2>&1 &
3：启动UI
./storm ui> ../logs/uiinfo 2>&1 &
4：启动节点
./storm supervisor >../logs/info 2>&1 &