
Storm
haojiliang
这个作者很懒,什么都没留下…
展开
-
安装 Storm 集群和 Zookeeper 集群./zkServer.sh status报错Error contacting service. It is probably not running.
除了http://blog.youkuaiyun.com/xiewendong93/article/details/50500471里面的方法外还有可能是jdk的问题;检查一下JDK是否正确安装;;我的是直接从其他机器复制过来jdk的环境变量设置,却忘记在新机器上解压jdk的压缩包了。。https://blog.iaiot.com/storm-zookeeper.html...原创 2017-09-06 17:40:15 · 468 阅读 · 0 评论 -
Jstorm 启动后 nimbus、Supervisor 自动停止
情景1:以前可以,异常关机重启后不行了。。。原因1:jstorm 进程异常终止,导致 storm data 目录下的数据异常;解决:删除 Jstorm data 目录里面的内容,再重新启动~https://blog.iaiot.com/jstorm-nimbus-Supervisor.html情景2:第一次安装的,从节点 Supervisor 可以正常启动,主节点的 nimb...原创 2018-05-22 11:18:54 · 2560 阅读 · 0 评论 -
Strom 消息可靠性保障机制和 Ack 原理
原文地址:https://blog.youkuaiyun.com/sheen1991/article/details/52788547Storm提供了消息处理的保障机制,可以保证从Spout发射出的每个tuple都得到完整的处理。当然Storm消息处理保障机制的前提是你使用了这种特性,如果你的业务对偶尔丢失的tuple不敏感,那么也没必要启用这种机制,毕竟有得就会有失。注:本文前几节的内容主要来自并发...转载 2018-08-01 15:13:27 · 183 阅读 · 0 评论 -
jstorm kill mytopo 后 Topology 一直处于 killed 状态
jstorm 设置了一个比较大的超时时间(topology.message.timeout.secs),导致 jstorm kill mytopo 后 Topology 一直处于 killed 状态,直到达到超时时间后 Topology 才结束。解决:调低超时时间(topology.message.timeout.secs)值,如果将超时时间调低后导致数据处理不完,可以将 topology.m...原创 2018-08-01 16:54:32 · 1028 阅读 · 0 评论 -
storm topology.message.timeout.secs 和 topology.max.spout.pending
stormtopology.max.spout.pending:同时活跃的批的数量。这个值必须设置,用于限定同时可以处理的 batch 数量。编程人员可以通过 topology.max.spout.pending设置这个值,默认是1。topology.message.timeout.secs:如果调大了超时时间 jstorm kill mytopo 后 topo 一直处于 ...原创 2018-08-01 17:33:52 · 1417 阅读 · 0 评论 -
Storm 本地调试 报 NoClassDefFoundError: org/apache/storm/topology/IRichSpout
https://blog.iaiot.com/storm-no-IRichSpout.htmlStorm 本地调试 报 java.lang.NoClassDefFoundError: org/apache/storm/topology/IRichSpoutjava.lang.NoClassDefFoundError: org/apache/storm/topology/IRichSpou...原创 2018-09-07 11:58:16 · 1402 阅读 · 0 评论