storm
谷雨hadoop
qq号648380139,欢迎大数据爱好者交流
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
storm运行wordcount例子
1,下载storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar:http://pan.baidu.com/s/1jGzddX02,copy storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar到原创 2014-09-28 12:58:29 · 4230 阅读 · 0 评论 -
分析storm各个线程堵塞原因
1、Thread-4-kafkaSpout-EventThread线程处于长时间等待状态,是正常行为,该线程的作用: 一开始就进入无限循环,从队列waitingEvents中获取事件,如果没有就阻塞等待2、Thread-4-kafkaSpout-SendThread,该线程的作用: 是个IO线程,用于发起和接受请求,并处理相应,同时产生心跳信息 3、Threa原创 2015-06-11 22:01:53 · 3348 阅读 · 0 评论 -
storm work配置JMX监控
配置JMX监控,可以查看GC和线程等等信息,方便debug,以下是在sorm.yaml文件中配置参数配置,%ID%取的时每个work的进程号,因为一个节点上可以有多个work,所以防止端口号重复导致启动失败,所以用动态代替worker.childopts: "-Xmx2048m -Xms2048m -Xmn500m -XX:PermSize=256M -XX:MaxPermSi原创 2015-06-16 16:04:44 · 2363 阅读 · 0 评论 -
storm spout,bolt超时处理和fail处理
如果toplogy在debug模式下,如果发现__tick打印,则是ack超时导致的,如果打印__ack_fail打印则是消息fail导致的分别对应的变量backtype.storm.SYSTEM_TICK_STREAM_ID = "__tick";(def ACKER-FAIL-STREAM-ID "__ack_fail")原创 2015-02-08 10:50:17 · 2604 阅读 · 0 评论 -
storm NotSerializableException: java.io.BufferedWriter解决
org.apache.storm.zookeeper.server.NIOServerCnxnFactory - Thread Thread[main,5,main] diedjava.lang.RuntimeException: java.io.NotSerializableException: java.io.BufferedWriter at backtype.storm.seriali原创 2014-12-20 16:10:37 · 1808 阅读 · 0 评论 -
[WARN] Network error when fetching messages:storm-kafka-0.8导致kafka读取数据丢失
2015-01-09T16:17:10.090+0800 s.k.KafkaUtils [WARN] Network error when fetching messages:java.net.ConnectException: Connection refused at sun.nio.ch.Net.connect0(Native Method) ~[na:1.7.0_51]原创 2015-01-09 17:44:18 · 2818 阅读 · 0 评论 -
storm-kafka spout获取数据的异常解决办法
20391 [Thread-8-kfkaSpout] WARN storm.kafka.KafkaUtils - Got fetch request with offset out of range: [140885176]; retrying with default start offset time from configuration. configured start offset t原创 2015-01-09 13:50:51 · 6827 阅读 · 1 评论 -
strom wordcount java 实现案例
1,spout编写,读取文件内容:原创 2014-09-28 16:46:26 · 903 阅读 · 0 评论 -
storm:ConnectionStateManager-0 WARN org.apache.curator.framework.state.ConnectionStateManager
strom异常解决:[ConnectionStateManager-0] WARN org.apache.curator.framework.state.ConnectionStateManager - There are no ConnectionStateListeners registered.原创 2014-09-28 16:44:01 · 4060 阅读 · 1 评论 -
storm部署安装deploy
storm单机部署环境:centos,jdk1原创 2014-09-28 11:15:12 · 814 阅读 · 0 评论 -
org.apache.thrift7.transport.TTransportException: java.net.ConnectException: Connection timed out
storm诡异问题查找:一个经常容易报的异常:Exception in thread "main" org.apache.thrift7.transport.TTransportException: java.net.ConnectException: Connection timed out at org.apache.thrift7.transport.TSocket.open(TS原创 2015-07-16 17:02:05 · 6670 阅读 · 0 评论
分享