storm 使用过程中遇到的问题

初入Storm开发遇到的问题 Local模式 一点运行马上报这个错 java.lang.NoClassDefFoundError: org/apache/storm/generated/AlreadyAliveException at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Class.privateGetDeclaredMetho... 阅读详情
1 bolt不停重启,excutor无法启动。
nimbus日志类似如下(), 
2014-03-12 10:55:06 b.s.d.nimbus [INFO] Executor MITAS3-74-1394565794:[34
34] not alive
2014-03-12 10:55:06 b.s.d.nimbus [INFO] Executor MITAS3-74-1394565794:[4 4]
not alive
2014-03-12 10:55:06 b.s.d.nimbus [INFO] Executor MITAS3-74-1394565794:[40
40] not alive
2014-03-12 10:55:06 b.s.d.nimbus [INFO] Executor MITAS3-74-1394565794:[10
10] not alive
2014-03-12 10:55:06 b.s.d.nimbus [INFO] Executor MITAS3-74-1394565794:[16
16] not alive
2014-03-12 10:55:06 b.s.d.nimbus [INFO] Executor MITAS3-74-1394565794:[22
22] not alive
2014-03-12 10:55:06 b.s.d.nimbus [INFO] Executor MITAS3-74-1394565794:[28
28] not alive
2014-03-12 10:55:06 b.s.s.EvenScheduler [INFO] Available slots:
(["5d105f66-1add-421b-8265-e7340a95928c" 6700]
["32ab1745-c260-4491-ae4d-92dcc5d14a62" 6700])
2014-03-12 10:55:06 b.s.d.nimbus [INFO] Reassigning MITAS3-74-1394565794 to
6 slots
2014-03-12 10:55:06 b.s.d.nimbus [INFO] Reassign executors: [[34 34] [4 4]
[40 40] [10 10] [16 16] [22 22] [28 28]]

原因是:work的内存设置太小,导致excutor无法启动
更改方法修改storm work配置,增大内存。
## to worker 
worker.childopts: "-Xmx4096m"

参考:
I have encountered the same issue in a case of out of memory in worker
process. Try increase the memory of the wokers by setting nimbus.childopts
property. Also, if you are creating short living object at higher rate
use +UseG1GC
. Since you are saying that you hold data in your memory, I'm suspecting
(as I said) an OutOfMemeory error. Don't cover this just by increasing the
heap size, but also I recommend to profile your worker and see if you have
a memory leak.
转自:http://qnalist.com/questions/4769895/topology-restart-due-to-executor-not-alive
【Storm】UI介绍 众所周知,storm 已经是业界主流的流时处理框架,Storm 被广泛应用于实时分析,在线机器学习,持续计算、分布式远程调用等领域。当前无论是内部还是外部论坛介绍原理的文档都比较多,但主要都是从运行机制和原理方面的介绍,在 UI 方面的介绍甚少,今天我试着向大家介绍一下 storm ui,一方面可以让大家了解一下 storm 的机制,另外也可以让大家更好的使用好 storm ui 协助大家自助解决... 阅读详情

相关推荐

18、数据移动:Storm 安装与使用指南

本文详细介绍了 Storm 实时计算框架的安装、配置和使用方法。内容涵盖 ZeroMQ 和 JZMQ 的安装、Storm 环境配置、ZooKeeper 启动与检查、Storm 服务运行、拓扑示例演示以及集群管理操作。通过具体步骤和示例,帮助用户快速搭建和运行 Storm 集群,并提供常见问题的解决思路及优化建议,适用于需要处理大规模实时数据流的场景。

ik67890123的博客 45

storm提交拓扑后出现Executor topology_name not alive的问题

1 bolt不停重启,excutor无法启动。 nimbus日志类似如下(), 2014-03-12 10:55:06 b.s.d.nimbus [INFO] Executor MITAS3-74-1394565794:[34 34] not alive 2014-03-12 10:55:06 b.s.d.nimbus [INFO] Executor MITAS3-74-1394565794

弹指天下 3209

TX 的 LOL(Local Oscillator Leakage,本振泄露)

项目内容LOL 是什么本振残留在 TX 输出中心频率上的杂散主要原因IQ 失衡、硬件不完美、零中频架构影响杂散、干扰、性能劣化、安全问题解决方法初始化校准 + 跟踪校准(AD9371 支持)检测手段频谱仪、回环检测、ADC ILA 抓取。

weixin_41230430的博客 2045

安装storm1.0.1后worker启动不起来 nimbus.log中显示executor循环not alive

默认安装storm1.0.1之后,启动一个topology任务后storm ui页面没有emit数据,查看了下nimbus日志,显示如下:2016-07-09 06:45:41.239 o.a.s.d.nimbus [INFO] desired replication count of 1 not achieved but we have hit the max wait time 60 so m

scl1991的专栏 3193

VisionMaster 4.2.0安装

按照顺序安装。

XuXing_java的专栏 3777

图像处理(12)--图像各种噪声及消除方法

文章目录结构1.什么是图像噪声2. 图像噪声来源3. 噪声分类及其消除方法3.1 高斯噪声及其消除方式3.1.1 如何确定一种噪声是高斯噪声3.1.2 高斯滤波消除高斯噪声3.1.3 高斯函数的重要性质3.2 瑞利噪声及其消除方式3.3 伽马(爱尔兰)噪声及其消除方式3.4 指数分布噪声及其消除方式3.5 均匀噪声及其消除方式3.6 脉冲(椒盐)噪声及其消除方式 1.什么是图像噪声 图像噪声是指...

ShaneHolmes 11万+

Storm杂谈之Topology的启动过程(二)

topology启动粗糙的简介

iTer的专栏 3971

STM32F407ZGT6开发板跑马灯实战:从原理图到烧录全流程(附FlyMcu配置)

本文以正点原子F4探索者开发板(STM32F407ZGT6)为例,手把手指导完成跑马灯实验。内容涵盖从原理图解读、GPIO驱动逻辑分析、HAL库工程搭建,到代码编写与FlyMcu串口烧录配置的全流程,帮助嵌入式开发新手快速实现第一个LED控制程序,打通软硬件开发链路。

weixin_29183637的博客 223

Storm实战常见问题及解决方案

博客公告:(1)本博客所有博客文章搬迁至《博客虫》http://www.blogchong.com/ (2)文章对应的源码下载链接参考博客虫网站首页的“代码GIT”直通车; (3)更多的相关文章更新,以及代码等,请关注博客虫网站,网站中有技术Q群,以及代码共享链接。     该文档为实实在在的原创文档,转载请注明: http://blog.sina.com.cn/s/blog_8c243ea30

blogchong的专栏 558

基于Spring Boot 3 + Vue 3 + Vite的现代化社区订餐系统设计与实现

本文将详细阐述系统的整体架构、数据库设计、核心功能模块(用户管理、餐厅管理、菜品浏览、购物车、订单管理)的实现细节,并提供关键代码示例。<el-input v-model="loginForm.password" type="password" placeholder="密码" prefix-icon="Lock" show-password />.requestMatchers("/api/auth/**", "/api/dishes/public/**").permitAll() // 公开接口。

2201_76125393的博客 468

【XSRP软件无线电】基于软件无线电平台的FM数字接收系统设计(含有完整工程资料获取链接)

随着无线通信技术的快速发展,软件无线电(Software Defined Radio, SDR)作为一种新兴的无线通信技术,逐渐成为研究和应用的热点。传统的无线接收机通常依赖于专用硬件实现其功能,灵活性和可扩展性有限。相较之下,软件无线电利用软件来实现信号处理和调制解调功能,能够适应多种频率和调制方式,使无线通信系统更加灵活和高效。在FM(频率调制)广播中,数字接收技术的应用不仅提高了信号的抗干扰能力,还能提供更好的音质和更多的附加信息(如广播电台名称、节目内容等)。

嵌入式技术开发 1366

Storm on YARN 安装部署与感悟

在单机上安装了storm并成功运行wordcount后,

flyhighzy的专栏 2582

台球 PCOL:极致物理还原的网页斯诺克引擎(附源码深度解析)

*完整源码地址**:[https://github.com/billiards/pcol-core](https://github.com/billiards/pcol-core)(包含详细文档与示例)通过这个项目,我们不仅创建了一个游戏,更构建了一个**可扩展的物理引擎框架**,为网页端复杂物理模拟开辟了新的可能性。**在线体验**:[https://pcol.billiards](https://pcol.billiards)(支持移动端触控操作)clone.velocity.x *= -0.92;

Loving_enjoy的博客 2796

storm +supervisord

  升级Storm的时候遇到的问题。 第一个问题: 用supervisor启动storm的时候报错:ERROR (file is not executable)。 是权限问题,用下面的命令给目录赋下权限:   sudo chmod -R 777 /opt/mount1/storm sudo chmod -R 777 /opt/mount1/data  (一定要清空下storm...

u013895609的博客 589

YOLOv8改进 | 主干篇 | 利用MobileNetV1替换Backbone(轻量化网络结构)

本文给大家带来的改进机制是MobileNetV1,其是专为移动和嵌入式视觉应用设计的轻量化网络结构。这些模型基于简化的架构,并利用深度可分离卷积构建轻量级深度神经网络,其引入了两个简单的全局超参数,用于在延迟和准确性之间进行有效的权衡。实验表明,MobileNets在资源和准确性的权衡方面表现出色,并在多种应用(如对象检测、细粒度分类、面部属性识别和大规模地理定位)中展现了其有效性,这个模型非常适合轻量化的读者来使用。适用检测目标:轻量化网络结构适合轻量化的读者。

Snu77的博客 3965

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

storm开发遇到的问题

项目中需要使用到storm,所以

西瓜追随螃蟹的脚步 1402

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

storm ui 中一些关键属性的含义

Storm UI对于排查storm使用过程中遇到的问题会很有帮助,但是有些属性的含义不是很明确,虽然都是很简单的概念,如果不知道的话也会很难受。 先说一点,鼠标只到UI上的标题栏时,是可以看到这一属性的具体属性的,几篇google rank很高的文章,其实就是把这个信息整理了下来。 其实大部分属性都是很直白的,看到名字就知道是什么意思,我在这儿之把一些可能造成困扰的属性列一下,方便大家查问题。

蓝色空间 2234

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

Storm常见问题及解决方法收集

以下是对个人在使用Storm过程中遇到的一些常见问题及解决方法的整理,其中部分问题的解决方法来自于网络,由于已找不到原始链接,抱歉这里没有逐一列举。 1. 发布topologies到远程集群时,出现Nimbus host is not set异常 原因是Nimbus没有被正确启动起来,可能是storm.yaml文件没有配置,或者配置有问题。 解决方法:打开storm.yaml文件正确配置:n

oHouQiZhiXiu的专栏 896

Storm过程中遇到的一些常见问题及解决方法

以下是对个人在使用Storm过程中遇到的一些常见问题及解决方法的整理,其中部分问题的解决方法来自于网络,由于已找不到原始链接,抱歉这里没有逐一列举。 1. 发布topologies到远程集群时,出现Nimbus host is not set异常 原因是Nimbus没有被正确启动起来,可能是storm.yaml文件没有配置,或者配置有问题。 解决方法:打开storm.yaml文件

zhongbaolin的专栏 798

storm 集群建立过程中出现的问题

工作之余自己搞了一下storm集群,我通过VM的clone功能,把原来装有一套storm的ubuntu linux系统clone了一份,当做第二天storm服务器。clone好之后,出问题了,新的和原来的两台ubuntu系统都不能上网了,搞了半天,最后把VM的virtual network edit 的桥接方式改成由Automatic本机的网卡后,终于搞定了   搞定网络后,启动storm集群

daihui05的专栏 773

storm常见问题及解决方法收集【持续更新中】

以下是对个人在使用Storm过程中遇到的一些常见问题及解决方法的整理,其中部分问题的解决方法来自于网络,由于已找不到原始链接,抱歉这里没有逐一列举。 1. 发布topologies到远程集群时,出现Nimbus host is not set异常 原因是Nimbus没有被正确启动起来,可能是storm.yaml文件没有配置,或者配置有问题。 解决方法:打开storm.yaml文件

mengfeiyang123456的专栏 941

Storm-HDFS整合过程中问题解决

前面提到了部署Hadoop的集群环境,因为我们需要用到HDFS,将Storm过来的数据离线存入到HDFS中,然后使用Hadoop从HDFS中取数据进行分析处理。 于是乎我们需要整合Storm-HDFS,在整合过程中遇到了许多问题,有的问题可以在网上找到,但是解决方法不一定实用,于是这里分享出来,以便自己学习,同时也为同样遇到相同问题处于困惑中的伙伴提供解决方法。 首先, 整合Storm-HDF

ZK_小小世界的专栏 9809

Storm常见问题及解决方法收集【持续更新中】

作者: 大圆那些事 | 文章可以转载,请以超链接形式标明文章原始出处和作者信息 网址: http://www.cnblogs.com/panfeng412/archive/2012/11/23/storm-common-issues-and-solutions-summarizing.html 以下是对个人在使用Storm过程中遇到的一些常见问题及解决方法的整理,其中部分问题的解决方法

Jacob 3058

STORM_0003_linux_zookeeper_storm_遇到的几个问题

1. 首先是花费时间在windows的eclipse下面安装fatjar因为是新版的缘故,装了很久才装上。 后来发现其实mvn可以打包出没有依赖的jar包 2. 然后是按照在ubuntu环境中的mvn去运行带的例子程序,出现了巨大的笑话,以前要sudo java -version或者sudo mvn -version的原因不是文件权限的问题,是因为我的系统是32位的安装了一个64位的...

weixin_33701251的博客 161
上一篇: storm安装
下一篇: 一个Cmake的例子
crazyhacking
博客等级 码龄15年 299粉丝 148原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值