安装storm

Storm 集群部署与配置详解
本文详细介绍了Apache Storm集群的部署步骤与关键配置项。包括如何配置Zookeeper服务器列表、Nimbus种子节点、Supervisor上的Worker数量等。此外,还提供了Storm UI上查看组件事件的方法及一些常用命令。

核心配置文件:

 $SOTRM_HOME/conf/storm.yml

   storm.zookeeper.servers:

- zk1

- zk2

        - zk3


 nimbus.seeds:['host']


storm.local.dir:"$STORM_HOME/tmp"


#每个supervisor下的worker数量

supervisor.slots.ports:

- 6666 

        - 7777

- 8888

- 9999

=================================================================================

1:配置每台storm服务器的host(一样)

2:解压 apache-storm安装包

3:设置环境变量

vim /etc/profilr => $STORM_HOME

        export STORM_HOME=/itcast/apache-storm-1.0.3
        export PATH=$PATH:$JAVA_HOME/bin:.:$HADOOP_HOME/bin:$SQOOP_HOME/bin:$HIVE_HOME/bin:$STORM_HOME/bin

4:在storm根目录下新建一个tmp临时文件夹,用来存放storm相关数据(在storm.yml配置文件里配置storm.local.dir)

5:编辑storm.yml的配置文件

#s1:配置zk

   storm.zookeeper.servers:

- zk1

- zk2

        - zk3

#配置nimbus(HA)

 nimbus.seeds:['host1',"host2"]

#配置存放本地信息路径

storm.local.dir: "$STORM_HOME/tmp"


#配置每台supervisor上的worker数量

supervisor.slots.ports:

- 6666 

        - 7777

- 8888

- 9999


6:配置好的storm复制到其他storm服务器 

7:启动sotrm集群

在主节点启动nimbus 

storm nimbus &

在从节点启动supervisor

storm supervisor &

启动ui

storm ui &

============================================

通过查看StormUI上每个组件的events链接,可以查看Storm的每个组件(spout、blot)发送的消息。但Storm的eventlogger的功能默认是禁用的,需要在配置文件中设置:topology.eventlogger.executors: 1,具体说明如下:
–"topology.eventlogger.executors":0   默认,禁用
–"topology.eventlogger.executors":1   一个topology分配一个Event Logger.
–"topology.eventlogger.executors":nil   每个worker.分配一个Event Logger
===========================================

#常用命令

•提交任务命令格式:storm jar 【jar路径】【拓扑包名.拓扑类名】 【拓扑名称】
•杀死任务命令格式:stormkill【拓扑名称】 -w 10
•停用任务命令格式:stormdeactivte  【拓扑名称】
•启用任务命令格式:stormactivate【拓扑名称】
•重新部署任务命令格式:stormrebalance  【拓扑名称】








内容概要:本文系统介绍了算术优化算法(AOA)的基本原理、核心思想及Python实现方法,并通过图像分割的实际案例展示了其应用价值。AOA是一种基于种群的元启发式算法,其核心思想来源于四则运算,利用乘除运算进行全局勘探,加减运算进行局部开发,通过数学优化器加速函数(MOA)和数学优化概率(MOP)动态控制搜索过程,在全局探索与局部开发之间实现平衡。文章详细解析了算法的初始化、勘探与开发阶段的更新策略,并提供了完整的Python代码实现,结合Rastrigin函数进行测试验证。进一步地,以Flask框架搭建前后端分离系统,将AOA应用于图像分割任务,展示了其在实际工程中的可行性与高效性。最后,通过收敛速度、寻优精度等指标评估算法性能,并提出自适应参数调整、模型优化和并行计算等改进策略。; 适合人群:具备一定Python编程基础和优化算法基础知识的高校学生、科研人员及工程技术人员,尤其适合从事人工智能、图像处理、智能优化等领域的从业者;; 使用场景及目标:①理解元启发式算法的设计思想与实现机制;②掌握AOA在函数优化、图像分割等实际问题中的建模与求解方法;③学习如何将优化算法集成到Web系统中实现工程化应用;④为算法性能评估与改进提供实践参考; 阅读建议:建议读者结合代码逐行调试,深入理解算法流程中MOA与MOP的作用机制,尝试在不同测试函数上运行算法以观察性能差异,并可进一步扩展图像分割模块,引入更复杂的预处理或后处理技术以提升分割效果。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值