storm/jstorm 相关命令

最新推荐文章于 2024-12-26 10:00:48 发布
转载 最新推荐文章于 2024-12-26 10:00:48 发布 · 151 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://my.oschina.net/cjun/blog/364162
文章标签：

#大数据 #ui

本文详细介绍了如何使用Storm搭建并管理集群，包括启动关键组件、上传拓扑、查看集群状态及基本操作。

为什么80%的码农都做不了架构师？>>>   hot3.png

1.启动nimbus，进程名为nimbus

nohup storm nimbus &

2.启动supervisor，进程名为supervisor

nohup storm supervisor &

3.启动ui，进程名为core

nohup storm ui &

4.启动log

nohup storm logviewer &

5.上传topo

storm jar storm_topo.jar com.cjun.MainTopology myTopo

storm_topo.jar：项目的jar包

com.cjun.MainTopology：主类的路径

myTopo：此topo在storm ui中显示的名称

6.杀死storm进程

先用jps查看storm进程，然后用：kill -9 x，杀死对应的进程，x为对应进程的进程号。

7.storm/jstorm杀死topo

storm/jstorm kill count

count为topo的名字

8.查看storm集群状况，浏览器输入网址：http://nimbus:8080


转载于:https://my.oschina.net/cjun/blog/364162

Jstorm 集群搭建过程/Jstorm集群一键安装部署
阿里Darker
05-31 3650
Jstorm 官方搭建使用过程如连接https://github.com/alibaba/jstorm/wiki/%E5%A6%82%E4%BD%95%E5%AE%89%E8%A3%85 ，我整理了三个脚本：安装 Jstorm 集群，安装 jstorm_web_ui 监控页面，启动zookeeper、Jstorm集群进行测试。 一、整体环境说明 三个脚本是测试环境搭建使用的，三台机
阿里的STORM——JSTORM
liutong123987的专栏
02-28 1398
看介绍文档貌似挺好：https://github.com/alibaba/jstorm 阿里拥有自己的实时计算引擎类似于hadoop 中的MR开源storm响应太慢开源社区的速度完全跟不上Ali的需求降低未来运维成本提供更多技术支持，加快内部业务响应速度现有Storm无法满足一些需求现有storm调度太简单粗暴，无法定制化Storm 任务分配不平衡RPC OOM一直没有解决监控太简单对ZK 访问频...
storm java 使用集群_Storm 系列（四）—— Storm集群环境搭建
weixin_29002209的博客
02-16 154
一、集群规划这里搭建一个 3 节点的 Storm 集群：三台主机上均部署 Supervisor 和 LogViewer 服务。同时为了保证高可用，除了在 hadoop001 上部署主 Nimbus 服务外，还在 hadoop002 上部署备用的 Nimbus 服务。Nimbus 服务由 Zookeeper 集群进行协调管理，如果主 Nimbus 不可用，则备用 Nimbus 会成为新的主 Nimb...
JStorm - 常用命令
weixin_34293902的博客
02-22 986
2019独角兽企业重金招聘Python工程师标准>>> ...
storm 分布式的实时计算系统
热门推荐
架构师的成长之路的博客
06-07 1万+
Storm介绍 更多干货 分布式实战（干货） spring cloud 实战（干货） mybatis 实战（干货） spring boot 实战（干货） React 入门实战（干货） 构建中小型互联网企业架构（干货） python 学习持续更新 ElasticSearch 笔记 kafka storm 实战 (...
Storm的安装步骤
阳光奶爸的博客
07-13 2645
流处理组件Storm的安装方法介绍
Jstorm-------storm.yaml配置
leishenop的专栏
05-12 7218
之前把Jstorm配置好了，发现本地模式下面可以执行，但是，我想在集群模式下面执行的时候，老是报没有活的nimbus，仔细看书，终于知道在运行集群模式之前，要启动nimbus进程和supervisor进程，就是在nimbus节点上执行 jstorm nimbus命令就可以，然后在supervisor节点上执行 jstorm supervisor命令就可以了。然后提交jar包运行就可以了。下面来讲讲
Storm命令注入漏洞(CVE-2021-38294) - 漏洞环境搭建 & 复现
最新发布
m0_74048540的博客
12-26 1747
本文详细介绍了如何搭建Apache Storm集群环境，并展示了一种利用Storm的漏洞进行攻击的实战案例。首先，我们介绍了ZooKeeper和Storm的安装步骤，以及如何创建一个简单的计算作业；接着，提供了Java代码的示例，用于成功执行命令并验证漏洞的存在。最后，重点讲解了如何将该漏洞利用程序打包为JAR文件，并使用Python脚本进行二次验证。通过本文，读者将能够理解Storm的基本架构，掌握漏洞复现的实用技巧，并体验到安全测试中的实际操作方法，增强对分布式系统安全性的认识。
jstorm安装配置
01-03 5552
jstorm安装配置 前言 下载 配置启动 前言jstorm介绍jstorm JStorm 是一个类似Hadoop MapReduce的系统， 用户按照指定的接口实现一个任务，然后将这个任务递交给JStorm系统，Jstorm将这个任务跑起来，并且按7 * 24小时运行起来，一旦中间一个Worker 发生意外故障， 调度器立即分配一个新的Worker替换这个失效的Worker。 因此，从应
在线实时大数据平台Storm并行度试验
医疗影像检索
08-10 4252
集群模式试验：同一文件输入数据如何处理，数据变量共享 1）集群模式一个worker内一个spout一个Bolt jps:1个worker storm list:1个wokers，4个tasks 2）集群模式一个worker内一个spout 两个Bolt jps:1个worker storm list:1个wokers，6个tasks 不同bolt线程之间对变量counter是互斥读写
JStorm介绍
cache007的专栏
11-22 6199
一、简介 Storm是开源的分布式容错实时计算系统，目前被托管在GitHub上，遵循 Eclipse Public License 1.0。最初由BackType开发，现在已被Twitter收入麾下。Storm最新版本是Storm 0.9，核心采用Clojure实现。Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息；Storm也可被用于“连续计算”（contin
jstorm操作命令
xixihaha_123的专栏
03-15 792
启动ZOOPKEEPER zkServer.sh start 启动NIMBUS jstorm nimbus & 启动SUPERVISOR jstorm supervisor & 启动UI jstorm ui & 部署TOPOLOGY jstorm jar /opt/hadoop/loganalyst/storm-dependend/data/teststorm-1.0.jar t...
Jstorm 启动后 nimbus、Supervisor 自动停止
haojiliang
05-22 2597
情景1：以前可以，异常关机重启后不行了。。。 原因1：jstorm 进程异常终止，导致 storm data 目录下的数据异常； 解决：删除 Jstorm data 目录里面的内容，再重新启动~ https://blog.iaiot.com/jstorm-nimbus-Supervisor.html 情景2：第一次安装的，从节点 Supervisor 可以正常启动，主节点的 nimb...
storm/jstorm 本地模式运行的时候如何设置日志级别
11111
07-25 3251
  使用本地模式调试storm/jstorm程序的时候，控制台输出的信息太多了，导致查问题不是很方便，可以通过修改日志级别来实现 storm 版本：0.9.7 jstorm 版本：2.1.0 storm 修改日志级别： 在resources下新建logback.xml <Loggers> </Loggers> jstorm 修改日志级别： 在resour...
JStorm之Woker启动流程
海盗的小菜园
03-25 4161
我们知道，在Jstorm中具体任务执行是由Woker来完成的，Woker的启动是由Supervisor组件负责，下面就介绍一个Woker的启动流程。 Sueprvisor在启动后会启动一个检测任务分配的线程，该线程周期性的到Zookeeper中查询任务分配的情况，一旦有新的任务到来，就会把自己负责的Woker启动起来，当然其中具体细节还有很多，大概流程就是这样的。 线程的执行体定义在Event
JStorm源代码阅读-创建topo的流程
define_us的专栏
09-11 376
创建topo Nimbus部分 //在单机模式下，首先要准备环境 public static LocalClusterMap prepareLocalCluster() { LocalClusterMap state = new LocalClusterMap(); try { List<String> tmpDi...
jstorm on yarn命令集合
flyhighzy的专栏
09-05 1339
在已经实现了jstorm-yarn launch命令后，我开始思考去实现其它的命令。命令
jstorm部署及使用
weixin_34292287的博客
04-14 963
为什么80%的码农都做不了架构师？>>> ...
JStorm与Storm入门实用Demo指南
在讨论jstorm storm入门demo之前，首先需要了解Apache Storm与JStorm的区别及其基本概念。Apache Storm是一个开源的分布式实时计算系统，用于处理大量数据流。它支持实时计算，能够有效处理实时分析、在线机器学习、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值