这篇博客详细介绍了Storm集群的部署步骤，包括下载安装、配置修改、集群启动及检查，同时讲解了Storm常用操作命令，如提交、杀死、停用、启用和再平衡拓扑。此外，还深入探讨了Storm源码下载和目录结构，以及通过单词计数案例展示了Storm的编程模型，包括数据源、分词和计数Bolt的生命周期，强调了Stream Grouping的策略。
Storm集群部署及单词计数
目标：
通过本次能够掌握Strom集群搭建、Storm配置文件、Storm源码管理、Storm编程模型。
课程大纲：
- 集群部署的基本流程
- 集群部署的基础环境准备
- Storm集群部署
- Storm集群的常用操作命令
- Storm集群的进程及日志熟悉
- Storm源码下载及目录熟悉
- Storm 单词计数案列
内容
- 集群部署的基本流程
集群部署的流程：下载安装包、解压安装包、修改配置文件、分发安装包、启动集群
注意：
所有的集群上都需要配置hosts
vi /etc/hosts
192.168.239.128 storm01 zk01 hadoop01
192.168.239.129 storm02 zk02 hadoop02
192.168.239.130 storm03 zk03 hadoop03
2.集群部署的基础环境准备
安装前的准备工作（zk集群已经部署完毕）
- 关闭防火墙
chkconfig iptables off && setenforce 0
- 创建用户
groupadd realtime && useradd realtime && usermod -a -G realtime realtime
- 创建工作目录并赋权
mkdir /export
mkdir /export/servers
chmod 755 -R /export
- 切换到realtime用户下
su realtime
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
