storm '*/stormconf.ser' does not exist 问题nimbus进程刚启动后就自动退出

最新推荐文章于 2022-10-18 19:15:26 发布
原创 最新推荐文章于 2022-10-18 19:15:26 发布 · 1.7k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#storm #nimbus

当nimbus进程启动后自动退出，问题源于storm配置文件stormconf.ser缺失。现象包括nimbus无法启动及日志显示'stom '*/stormconf.ser' does not exist'。解决方案涉及清理storm本地目录及Zookeeper数据，并重启服务。

现象: nimbus进程一启动后就自动退出.

使用storm 0.9.3 和 storm 0.9.2时，如果非正常关机，tp没有正常杀死的情况下，再次提交topology时会碰到以下问题

反复出现以下问题

2014-12-01T20:31:09.797+0800 b.s.d.supervisor [INFO] 9ce9ed02-8da3-48fe-b3d6-b95b94910fb7 still hasn’t started
查看 supervisor.log

单独提交任务，把日志里的启动命令截取出来单独运行

‘/usr/Java/latest/bin/java’ ‘-server’ ‘-Xmx768m’ ‘-Djava.library.path=/home/storm/localdir/supervisor/stormdist/test_storm-2-1417437058/resources/Linux-amd64:/home/storm/localdir/supervisor/stormdist/test_storm-2-1417437058/resources:/usr/local/lib:/opt/local/lib:/usr/lib’ ‘-Dlogfile.name=worker-6701.log’ ‘-Dstorm.home=/home/storm/apache-storm-0.9.3’ ‘-Dstorm.conf.file=’ ‘-Dstorm.options=’ ‘-Dstorm.log.dir=/home/storm/apache-storm-0.9.3/logs’ ‘-Dlogback.configurationFile=/home/storm/apache-storm-0.9.3/logback/cluster.xml’ ‘-Dstorm.id=test_storm-2-1417437058’ ‘-Dworker.id=edd6a25e-ba9b-4f0c-bcd7-20e9bfa4df39’ ‘-Dworker.port=6701’ ‘-cp’ ‘/home/storm/apache-storm-0.9.3/lib/minlog-1.2.jar:/home/storm/apache-storm-0.9.3/lib/clj-time-0.4.1.jar:/home/storm/apache-storm-0.9.3/lib/ring-jetty-adapter-0.3.11.jar:/home/storm/apache-storm-0.9.3/lib/logback-classic-1.0.13.jar:/home/storm/apache-storm-0.9.3/lib/log4j-over-slf4j-1.6.6.jar:/home/storm/apache-storm-0.9.3/lib/tools.macro-0.1.0.jar:/home/storm/apache-storm-0.9.3/lib/commons-lang-2.5.jar:/home/storm/apache-storm-0.9.3/lib/tools.cli-0.2.4.jar:/home/storm/apache-storm-0.9.3/lib/math.numeric-tower-0.0.1.jar:/home/storm/apache-storm-0.9.3/lib/tools.logging-0.2.3.jar:/home/storm/apache-storm-0.9.3/lib/disruptor-2.10.1.jar:/home/storm/apache-storm-0.9.3/lib/reflectasm-1.07-shaded.jar:/home/storm/apache-storm-0.9.3/lib/jetty-6.1.26.jar:/home/storm/apache-storm-0.9.3/lib/objenesis-1.2.jar:/home/storm/apache-storm-0.9.3/lib/ring-servlet-0.3.11.jar:/home/storm/apache-storm-0.9.3/lib/kryo-2.21.jar:/home/storm/apache-storm-0.9.3/lib/clout-1.0.1.jar:/home/storm/apache-storm-0.9.3/lib/clojure-1.5.1.jar:/home/storm/apache-storm-0.9.3/lib/ring-core-1.1.5.jar:/home/storm/apache-storm-0.9.3/lib/slf4j-api-1.7.5.jar:/home/storm/apache-storm-0.9.3/lib/snakeyaml-1.11.jar:/home/storm/apache-storm-0.9.3/lib/logback-core-1.0.13.jar:/home/storm/apache-storm-0.9.3/lib/hiccup-0.3.6.jar:/home/storm/apache-storm-0.9.3/lib/asm-4.0.jar:/home/storm/apache-storm-0.9.3/lib/commons-exec-1.1.jar:/home/storm/apache-storm-0.9.3/lib/core.incubator-0.1.0.jar:/home/storm/apache-storm-0.9.3/lib/commons-logging-1.1.3.jar:/home/storm/apache-storm-0.9.3/lib/compojure-1.1.3.jar:/home/storm/apache-storm-0.9.3/lib/jline-2.11.jar:/home/storm/apache-storm-0.9.3/lib/jgrapht-core-0.9.0.jar:/home/storm/apache-storm-0.9.3/lib/joda-time-2.0.jar:/home/storm/apache-storm-0.9.3/lib/commons-codec-1.6.jar:/home/storm/apache-storm-0.9.3/lib/clj-stacktrace-0.2.2.jar:/home/storm/apache-storm-0.9.3/lib/servlet-api-2.5.jar:/home/storm/apache-storm-0.9.3/lib/json-simple-1.1.jar:/home/storm/apache-storm-0.9.3/lib/carbonite-1.4.0.jar:/home/storm/apache-storm-0.9.3/lib/jetty-util-6.1.26.jar:/home/storm/apache-storm-0.9.3/lib/chill-java-0.3.5.jar:/home/storm/apache-storm-0.9.3/lib/commons-io-2.4.jar:/home/storm/apache-storm-0.9.3/lib/ring-devel-0.3.11.jar:/home/storm/apache-storm-0.9.3/lib/commons-fileupload-1.2.1.jar:/home/storm/apache-storm-0.9.3/lib/storm-core-0.9.3.jar:/home/storm/apache-storm-0.9.3/conf:/home/storm/localdir/supervisor/stormdist/test_storm-2-1417437058/stormjar.jar’ ‘backtype.storm.daemon.worker’ ‘test_storm-2-1417437058’ ‘89b2836e-e472-4a45-8084-b59c0c2b68b3’ ‘6701’ ‘edd6a25e-ba9b-4f0c-bcd7-20e9bfa4df39’
提示错误：storm ‘*/stormconf.ser’ does not exist

解决方案：

先关闭所有节点的zookeeper和supervisor，nimbus，ui

1.删除所有节点中的storm.yaml内对应的storm.localdir对应的目录内的东西

2.删除zookeeper配置文件中

dataDir=/home/storm/zkdata
dataLogDir=/home/storm/zklogs

目录下的所有东西，然后重启

docker pull报错： Error response from daemon: Get https://../v1/_ping: http: server gave HTTP response
隔壁老瓦的专栏
01-03 3851
问题描述，安装好docker私有库之后，不管是从私有库pull还是push，都会报错： Error response from daemon: Get https://xxx.xxx.xxx.xxx:5000/v1/_ping: http: server gave HTTP response to HTTPS client 原因是由于客户端采用https，docker registry未采用h...
Zookeeper无法启动Error contacting service. It is probably not running
Jerry00713的博客
03-04 3853
转载地址：https://blog.csdn.net/u012453843/article/details/70878117 在启动zookeeper集群的单个zookeeper节点时总是报如下错误 [root@7-2 opt]# /opt/zookeeper/bin/zkServer.sh start ZooKeeper JMX enabled by default Using config: /opt/zookeeper/bin/../conf/zoo.cfg Error contacting
storm '*/stormconf.ser' does not exist 问题
12-01 2729
使用storm 0.9.3 和 storm 0.9.2时，如果非正常关机，tp没有正常杀死的情况下，再次提交topology时会碰到以下问题 反复出现以下问题 2014-12-01T20:31:09.797+0800 b.s.d.supervisor [INFO] 9ce9ed02-8da3-48fe-b3d6-b95b94910fb7 still hasn't started 查看 s
关于storm中节点nimbus和supervisor启动后自动退出，不能正常启动的问题
chongzhou8017的博客
11-06 2009
最近在阿里云上租了服务器想把本地的集群放到集群上去的，之前自己装的是ubuntu的双系统，刚开始还好，但用着用着发现ubuntu真的很有问题，建议开发的同学还是老老实实用cent OS 吧，ubuntu是噩梦！！！ 问题出现在安装完成启动storm的时候，实现已经启动了zookeeper...
解决storm集群上的nimbus和supervisor结点无缘无故自动停止的方案
努力多一点！快乐多一点！
07-24 3353
storm在生产上跑得很欢快，最近突然遇到一个问题，不知道storm是什么原因，无缘无故的自动停止了。查看日志没有任何的报错信息，包括警告信息都没有，反正就是无缘无故的shut down了。问题分析，初步我们判断应该是系统资源不足导致的，但这只是推测，因为storm集群的这些server都没有做监控，只有后面加上监控才能验证是否是因为资源问题引起的。   好吧！既然遇到问题咱们就解决问题吧...
storm nimbus ： stormconf.ser' does not exist nimbus 解决办法
计算机技术博客
01-14 2935
nimbus 关机前，没有kill topology，再启动的时候，nimbus总是起不来，看日志，说是缺少个文件。（stormconf.ser' does not exist nimbus） 解决方法如下: 分两步 1：将storm配置文件storm.yaml内对应的storm.localdir对应的目录内的东西全部清掉 2：将zookeeper相关节点删除 在这步中，在主控台
大数据-storm的nimbus、Supervisor进程启动后自动关闭
qq_43447401的博客
04-30 1354
storm的nimbus、Supervisor进程启动后自动关闭 在安装配置zookeeper、storm之后，通过下述命令先启动zookeeper，后启动Supervisor、nimbus进程： /usr/local/zookeeper/bin/zkServer.sh start /usr/local/storm/bin/storm supervisor /usr/local/storm/bin/storm nimbus 但是几秒之后，就会自动关闭，到新的一行，我新打开一个终端，使用jps查看进程，
【K8s开启防火墙】Failed to list *v1.Endpoints: Get https://10.96.0.1:443/api/v1/endpoints?
热门推荐
jstang的博客
12-06 2万+
今日，在Kubernetes集群开启防火墙firewalld出现问题记录一下 本章内容: 1: 问题&解决 2: K8s部署方案 3: 防火墙firewalld设计 1.问题&解决： 1 reflector.go:134] github.com/coredns/coredns/plugin/kubernetes/controller.go:317: Failed to list ...
安装storm1.0.1后worker启动不起来 nimbus.log中显示executor循环not alive
scl1991的专栏
07-11 3149
默认安装storm1.0.1之后，启动一个topology任务后storm ui页面没有emit数据，查看了下nimbus日志，显示如下：2016-07-09 06:45:41.239 o.a.s.d.nimbus [INFO] desired replication count of 1 not achieved but we have hit the max wait time 60 so m
Zookeeper集群搭建问题--Socket error occurred: ip2/192.168.146.129:2181: No route to host
song_jinbao的博客
03-26 3075
今天搭建zookeeper集群，从安装zookeeper、修改zoo.cfg配置文件到创建myid文件，依次启动三台虚拟机后，查看zookeeper状态时一直报错， ZooKeeper JMX enabled by default Using config: /usr/local/zookeeper-3.4.14/bin/../conf/zoo.cfg Error contacting ser...
Jstorm 启动后 nimbus、Supervisor 自动停止
haojiliang
05-22 2619
情景1：以前可以，异常关机重启后不行了。。。 原因1：jstorm 进程异常终止，导致 storm data 目录下的数据异常； 解决：删除 Jstorm data 目录里面的内容，再重新启动~ https://blog.iaiot.com/jstorm-nimbus-Supervisor.html 情景2：第一次安装的，从节点 Supervisor 可以正常启动，主节点的 nimb...
重启Storm时，启动Supervisor 启动后自动退出
龍 博客
07-27 6798
重启Storm时，启动Supervisor 启动后自动退出在启动storm集群时，某个节点启动Supervisor 进程后后自动退出
storm集群Nimbus老是宕机，设置个5分钟定时检查重启
myz的博客
03-16 446
5分钟定时器： crontab -e */5 * * * * /home/ubuntu/shell/autoRestartNimbus.sh sudo service cron restart 定时重启Nimbus shell脚本autoRestartNimbus.sh： #! /bin/bash PROC_NAME=nimbus ProcNumber=`ps -ef |grep -w $PROC_NAME|grep -v grep|wc -l` if [ $ProcNumber...
Storm启动命令
yiyiqi123的博客
10-13 2202
在启动storm之前要确保nimbus和supervisor上的Zookeeper已经启动 （1）查看zk的状态： ./zkServer.sh status 1 2 （2）如果zk没有开启，将nimbus和supervisor的zk开启 ./zkServer.sh start 1 （3）启动nimbus（切换到storm的bin目录下） ./storm nimbus & 1 （4）启动supervisor（切换到storm的bin目录下） ./storm supervisor & 1 （5
linux storm单节点,Storm nimbus 单节点宕机的处理
weixin_39864682的博客
05-15 483
一、storm nimbus 单节点问题概述1、storm集群在生产环境部署之后，通常会是如下的结构：从图中可以看出zookeeper和supervisor都是多节点，任意1个zookeeper节点宕机或supervisor节点宕机均不会对系统整体运行造成影响，但nimbus和ui都是单节点。ui的单节点对系统的稳定运行没有影响，仅提供storm-ui页面展示统计信息。但nimbus承载了集群...
解决storm集群上的nimbus,supervisor,ui结点自动停止的问题
clmaykr95629的博客
03-23 914
一：解决方案 “Launches the nimbus daemon. This command should be run under supervision with a tool like daemontools or ...
Exit 13 storm nimbus 的解决
qq_42520986的博客
06-20 591
如果防火墙已经关闭的话： 在/etc/hosts中最后加上本机地址及本机名（通过hostname命令查看本机名） 添加本机名后，重新启动storm nimbus & 启动成功！ ...
3.Storm搭建及深入
weixin_50722238的博客
10-18 349
Storm搭建及深入 nimbus和supervisor启动后自动消失。 Storm启动和关闭 storm架构 hadoop vs storm storm容错
/* 1. 模型 → HTuple 字节流 */ HTuple ser; SerializeShapeModel(modelID, &ser);怎末拿到ser数据
最新发布
09-21
<think> 我们正在解决如何从Halcon序列化后的HSerializedItem对象中获取字节数据（HTuple形式）的问题。 用户已经知道使用SerializeShapeModel函数将模型序列化到HSerializedItem，现在需要获取这个序列化项的字节流（即ser数据）。 步骤： 1. 序列化模型得到HSerializedItem对象。 2. 使用GetSerializedItemPtr函数获取序列化数据的内存指针和大小。 3. 将指针指向的内存数据复制到HTuple（字节流形式）或直接处理。 注意：HTuple可以表示字节流，即一个整数元组，每个整数在0-255之间。 具体代码示例： </think> ### 在Halcon中获取SerializeShapeModel生成的字节流数据 在Halcon中将模型序列化为HTuple字节流后，可通过以下步骤获取序列化数据（ser数据）： #### 核心方法：使用`GetSerializedItemPtr` ```cpp // 序列化模型（示例：形状模板） HShapeModel model; SerializeShapeModel(model, &serialized_item); // 序列化得到HSerializedItem对象 // 关键步骤：获取字节流指针和大小 HTuple ptr, size; GetSerializedItemPtr(serialized_item, &ptr, &size); // 获取内存指针和数据长度 ``` #### 完整数据提取流程 1. **获取序列化数据指针**： ```cpp // ptr[0] 包含内存起始地址，size[0]包含字节长度 Hlong data_address = ptr[0].L(); // 内存地址转为整数类型 Hlong data_length = size[0].I(); // 数据长度转为整数 ``` 2. **转换为字节数组**： ```cpp // 创建字节容器存储数据 std::vector<unsigned char> byte_data; byte_data.resize(data_length); // 复制内存数据（核心操作） memcpy(byte_data.data(), (void*)data_address, data_length); ``` 3. **转为HTuple字节流格式**： ```cpp // 将vector转为HTuple（每个元素0-255） HTuple ser_data; for (const auto& byte : byte_data) { ser_data.Append(static_cast<Hlong>(byte)); } ``` #### 使用HTuple操作接口（更高效） ```cpp // 直接使用HTuple处理字节流 HTuple ser_data = HTuple::GenConst(size[0], 0); // 创建等长元组 for (Hlong i = 0; i < size[0]; ++i) { unsigned char* byte_ptr = (unsigned char*)(data_address + i); ser_data[i] = *byte_ptr; // 逐字节填充 } ``` ### 关键注意事项 1. **内存生命周期管理**： ```cpp // 必须保持serialized_item有效期间访问数据 { HSerializedItem item = ...; // 序列化对象 HTuple ptr, size; GetSerializedItemPtr(item, &ptr, &size); // 在此作用域内使用ptr } // item离开作用域后ptr失效 ``` 2. **数据验证方法**： ```cpp // 校验字节流头标识（Halcon序列化数据以"HTM"开头） if (byte_data.size() >= 3 && byte_data[0] == 'H' && byte_data[1] == 'T' && byte_data[2] == 'M') { // 有效数据 } ``` 3. **嵌入式系统优化**： ```cpp // 直接映射到常量数组（避免内存复制） const unsigned char* model_data = (const unsigned char*)data_address; // 直接使用model_data指针操作 ``` ### 完整示例代码 ```cpp HShapeModel CreateAndSerializeModel() { // 创建示例模型 HImage img("printer_chip/printer_chip_01.png"); HShapeModel model = img.CreateShapeModel(5, -0.39, 0.78, "auto", "auto", "use_polarity", "auto"); // 序列化模型 HSerializedItem serialized_item; SerializeShapeModel(model, &serialized_item); // 获取字节流数据 HTuple ptr, size; GetSerializedItemPtr(serialized_item, &ptr, &size); Hlong addr = ptr[0].L(); HTuple ser_data = HTuple::GenConst(size[0], 0); for(Hlong i = 0; i < size[0]; ++i) { ser_data[i] = *((unsigned char*)(addr + i)); } return ser_data; // 返回HTuple格式字节流 } ``` ### 典型应用场景 1. **网络传输**： ```cpp // 发送序列化数据 send(socket, (char*)byte_data.data(), byte_data.size(), 0); ``` 2. **文件存储**： ```cpp std::ofstream file("model.bin", std::ios::binary); file.write(reinterpret_cast<char*>(byte_data.data()), byte_data.size()); ``` 3. **内存加载**： ```cpp HSerializedItem new_item; new_item.DeserializeItem(byte_data.data(), byte_data.size()); HShapeModel loaded_model; DeserializeShapeModel(new_item, &loaded_model); ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值