Storm: monitor storm with supervisor

最新推荐文章于 2022-08-30 11:22:00 发布
原创 最新推荐文章于 2022-08-30 11:22:00 发布 · 251 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #java

本文介绍如何使用Supervisor管理Apache Storm Supervisor服务的过程。包括配置supervisord.conf文件启动和自动重启策略，设置日志记录方式及大小限制等。此外还涉及了环境变量配置和Supervisor服务的启动检查。

 

#yum install supervisor

#vi /etc/supervisord.conf

[program:storm-supervisor]
command=/opt/apache-storm-0.9.3/bin/storm  supervisor
user=root
autostart=true
autorestart=true
startsecs=10
startretries=999
log_stdout=true
log_stderr=true
logfile=/var/log/storm/supervisor.out
logfile_maxbytes=20MB
logfile_backups=10

 

#cd /opt/apache-storm-0.9.3/conf

#vi storm_env.ini 

JAVA_HOME:/opt/jdk1.7.0_51

#chkconfig supervisord on

#service supervisord start

 

#supervisorctl status

 

 

Prefrences

http://www.michael-noll.com/tutorials/running-multi-node-storm-cluster/

http://stackoverflow.com/questions/17646704/run-a-process-under-supervision-using-supervisor

【Storm】Storm集群和作业监控告警开发
晚风中的自由
09-22 529
监控方案 storm的所有状态写在zookeeper中，而且nimbus和supervisor通信完全通过zookeeper； 可以通过访问zookeeper得知集群状态，如nimbus、supervisor是否正常，线上作业是否状态良好？ 要求： 1、可配置化； 2、当numbus或supervisor停掉后，发告警出来； 3、当监控的作业停掉后，告警出来； （1）配置文件s...
Storm监控与调优：使用Metrics和Grafana可视化性能指标
最新发布
小程序开发
09-01 1096
本文系统阐述了Apache Storm流处理平台的监控体系构建与性能调优方法论，重点分析Metrics框架的指标采集机制与Grafana可视化平台的集成实践。通过构建从指标采集、传输、存储到可视化的完整监控链路，结合生产环境案例，提供了一套系统化的Storm性能优化方案。内容涵盖Storm Metrics架构解析、监控指标体系设计、Grafana dashboards构建、性能瓶颈诊断流程及调优最佳实践，为实时流处理平台的稳定运行与性能优化提供权威技术指导。4.2.1 自定义Metric实现。
Storm系统监控脚本
09-22
该文档为storm相关脚本说明文档，包括集群免登陆脚本，操作ZK集群，及最重要的nimbus监控重启脚本。该部分附有源代码。
STORM流计算Topology性能监控
12-14
STORM的TOPOLOGY在线上运行时，随着数据量的增加，在一定的服务器性能及集群规模下，会渐渐达到一个极限，到达极限后，服务器的load、io、cpu、mem等可能会出现耗尽，系统很卡，storm吞吐量骤降的情况。本文档中截图了服务器主要监控指标，可以看出瓶颈是cpu还是内存还是io
监控Storm进程 NimbusMonitor.sh
03-17 1158
#!/bin/bash #author: chongyuanHuang #blog: http://blog.sina.com.cn/huangchongyuan #QQ group: 191321336 #E-mail: 874450476@qq.com function Init() { date=`date +
使用monit监控storm
shouwangV6的专栏
03-19 1853
用monit监控storm
Storm配置项详解.docx
11-05
27. **supervisor.monitor.frequency.secs**：supervisor检查worker心跳的频率。 28. **worker.childopts**：worker启动时使用的JVM选项。 29. **worker.heartbeat.frequency.secs**：worker发送心跳的时间间隔。 ...
Storm配置详解
09-30
23. supervisor.monitor.frequency.secs：Supervisor检查worker心跳的频率。 24. supervisor.enable：Supervisor是否应当运行分配给他的workers，默认为true。 25. worker.heartbeat.frequency.secs：Worker的心跳...
Storm配置项详解
03-14
- **`supervisor.childopts`**：配置supervisor守护进程的JVM选项，在storm-deploy项目中使用。 - **`supervisor.worker.timeout.secs`**：定义supervisor中worker的心跳超时时间，单位为秒。一旦超时，supervisor会...
Storm之——使用daemontools监控Storm进程
冰河的专栏
04-09 1147
转载请注明出处：https://blog.youkuaiyun.com/l1028386804/article/details/89165161 一、安装daemontools 在Linux终端安装daemontools命令 cd ~/Downloads wget http://cr.yp.to/daemontools/daemontools-0.76.tar.gz tar -zxvf daemont...
Monitoring with MON – Updated
whyhonest的专栏
11-21 1042
http://techsnail.com/howtos-tutorials/monitoring-with-mon-updated/ http://wbitt.com/knowledge/how-to-tutorials/118-monitoring-with-mon-updated.html Monitoring with MON – Updated BY
Storm平台监控方案[ 上 ]
专注互联网后端技术
09-27 588
监控的初衷        社区版的storm除去storm UI可以提供一点信息外，实际上任务完全运行在一个黑盒子里，不仅不知道任务的运行情况，即使任务有问题时也无法及时通知用户来处理，事后排查问题又非常困难。为了解决这些问题，需要把任务运行的情况掌握起来。   监控的维度 任务维度监控  组件处理耗时，单位:毫秒  任务组件tps  worker处理耗时,单位:毫秒  wo...
Storm(二)常用shell命令
u010391342的博客
09-17 705
常用命令 http://storm.apache.org/releases/1.2.2/Command-line-client.html [root@web1 apache-storm-1.2.2]# bin/storm help Commands: activate blobstore classpath deactivate dev-zookeepe...
Storm项目：流数据监控 <6…
blogchong的专栏
11-25 590
博客公告： (1)本博客所有博客文章搬迁至《博客虫》http://www.blogchong.com/ (2)文章对应的源码下载链接参考博客虫网站首页的“代码GIT”直通车； (3)更多的相关文章更新，以及代码等，请关注博客虫网站，网站中有技术Q群，以及代码共享链接。 1 文档说明    DataOptTopology项目由之前的monitorTopology整理而来，并且在此基础
PhpStorm远程linux开发webman开发模式代码改动Monitor不自动reload代码
Z.X的博客
08-30 541
2022年8月30日11:08:03 这几天在测试webman作为luckysheet的后台，之前是使用vscode remote explorer开发 Monitor进程都是正常reload改动的代码 但是因为vscode的代码提示，代码追踪效果不好，都是需要写代码的时候去PhpStorm开发，测试回vscode 注意：vscode的remote explorer的工作模式是ssh到lin...
storm集群的监控
caodaoxi的专栏
05-08 292
所谓兵马未动，粮草先行，准备将storm用在某个项目中做实时数据分析。无论任何系统，一定要有监控系统并存，当故障发生的时候你能第一个知道，而不是让别人告诉你，那处理故障就很被动了。 因此我写了这么个项目，取名叫storm-monitor，放在了github上 https://github.com/killme2008/storm-monitor 主要功能如下： 1.监控supe...
Storm之——使用monit监控Storm
冰河的专栏
03-03 2333
一、安装。首先去monit官方下载最新的monit版本，老的版本可能不支持官网地址是http://mmonit.com/monit/ yum源没有配的话用rpm安装。yum –y install pam-devel tar -zxf monit-5.12.tar.gz -C /tmp/ cd /tmp/monit-5.12 ./configure --prefix=/usr/local/moni...
storm教程（五）：storm消息的可靠性保障与acker机制、Thrift client 集群监控
风中云彩的博客
08-27 1764
消息的可靠性保障与acker机制Storm 能够保证每一个由 Spout 发送的消息都能够得到完整地处理。本文详细解释了 Storm 如何实现这种保障机制，以及作为用户如何使用好 Storm 的可靠性机制。 消息的“完整性处理”是什么意思 一个从 spout 中发送出的 tuple 会产生上千个基于它创建的 tuples。例如，有这样一个 word-count 拓扑：TopologyBuilde
大数据_Storm_Storm之--配置项详解
迎难而上
08-11 5948
转载请注明出处:http://blog.youkuaiyun.com/l1028386804/article/details/51924272 配置项 配置说明 storm.zookeeper.servers ZooKeeper服务器列表 storm.zookeeper.port ZooKeeper连接端口
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值