
storm
_小海_
这个作者很懒,什么都没留下…
展开
-
Storm安装
cd /zeromq/wget http://download.zeromq.org/zeromq-2.1.7.tar.gztar -xf zeromq-2.1.7.tar.gz yum install gcc-c++ yum install uuid-devel yum install libuuid-develcd /home/zeromq/zeromq-2原创 2015-12-21 15:54:08 · 716 阅读 · 0 评论 -
storm 集群 安装 部署
Storm:ip地址 主机名 用户名 java Python nimbus supervisor 安装目录启动命令192.168.0.91 storm001storm 是是 是[主] 是 /opt/storm/stormbin/storm nimbus >/dev/null 2>&1 &bin/storm ui >/dev/null 2>&1 &bi原创 2016-11-10 15:20:34 · 1555 阅读 · 0 评论 -
KafkaSpout分析:配置
文章来源:http://www.mamicode.com/info-detail-515641.htmlpublic KafkaSpout(SpoutConfig spoutConf) { _spoutConfig = spoutConf;}SpoutConfig继承自KafkaConfig。由于SpoutConfig和KafkaConfig所有的instance转载 2016-06-07 14:29:12 · 4737 阅读 · 0 评论 -
Storm处理流程, 基本参数配置
文章来源:http://www.cnblogs.com/chengxin1982/p/4001275.html配置选项名称配置选项作用topology.max.task.parallelism每个Topology运行时最大的executor数目topology.workers转载 2016-05-05 19:04:44 · 8076 阅读 · 0 评论 -
Strom Topology执行分析:worker数,Bolt实例数,executor数,task数
文章来源:http://www.aboutyun.com/thread-7575-1-1.html问题导读:1.什么是Topology?2.如何创建Topology?3.Topology的worker数由谁来配置?4.Topology中某个bolt的executor数由谁来指定?5.Supervisor、worker、Executor、Task、Spout、Bolt转载 2016-05-05 19:02:42 · 1713 阅读 · 0 评论 -
【Streaming】为什么提交任务后,worker不断重启,任务部署总是不成功?
提问:提交某一任务拓扑后,在界面上看,任务一直部署不成功。或者看起来部署成功,有开始数据,但总数据量不断从0开始计数分析 一般这种情况出现在某一拓扑中包含大量worker,且worker中包含大量并发线程数。1. 在UI界面上,点击进入相应spout/bolt,观察其各个线程,发现线程的up时间不断从0开始2. 在分配有work的节点环境中,使用JPS可以看到,worker进行不断重启转载 2016-04-13 20:10:12 · 2564 阅读 · 0 评论 -
Storm-0.9.0.1安装部署 指导
文章来源:http://www.aboutyun.com/thread-6854-1-1.html可以带着下面问题来阅读本文章:1.Storm只支持什么传输2.通过什么配置,可以更改Zookeeper默认端口3.Storm UI必须和Storm Nimbus部署在同一台机器上,UI无法正常工作为什么2.Storm-0.9.0.1大概经过几转载 2016-04-13 20:08:04 · 972 阅读 · 0 评论 -
storm笔记 -- 与kafka的集成
文章来源:http://itindex.net/detail/51477-storm-%E7%AC%94%E8%AE%B0-kafka storm与kafka的结合,即前端的采集程序将实时数据源源不断采集到队列中,而storm作为消费者拉取计算,是典型的应用场景。因此,storm的发布包中也包含了一个集成jar,支持从kafka读出数据,供storm应用使用。这里结合自己的应用做个转载 2016-04-13 20:04:27 · 1743 阅读 · 0 评论 -
storm源码之理解Storm中Worker、Executor、Task关系
文章来源:http://www.sxt.cn/u/756/blog/4597torm在集群上运行一个Topology时,主要通过以下3个实体来完成Topology的执行工作:1. Worker(进程)2. Executor(线程)3. Task下图简要描述了这3者之间的关系:1个worker进程执行的是1个topology的子集(注:不会出现1个work转载 2016-04-13 19:59:10 · 699 阅读 · 0 评论 -
storm的并发
文章来源:http://blog.youkuaiyun.com/crazyhacking/article/details/403005591 storm并行的基本概念storm集群中的一个机器可以运行一个或者多个worker,对应于一个或者多个topologies.1个worker进程运行1个或多个excutor线程。每个worker从属于一个topology.executor是单转载 2016-04-13 19:55:36 · 481 阅读 · 0 评论 -
Storm实战常见问题及解决方案
转载:http://www.tuicool.com/articles/2a6jMj该文档为实实在在的原创文档,转载请注明:http://blog.sina.com.cn/s/blog_8c243ea30101k0k1.html类型详细备注该文档是群里几个朋友在storm实战中遇到的一些问题,及其对应解决转载 2016-04-13 19:43:35 · 884 阅读 · 0 评论 -
storm '*/stormconf.ser' does not exist 问题
文章来源:http://blog.youkuaiyun.com/s597471018/article/details/41652305storm 0.9.3 和 storm 0.9.2时,如果非正常关机,tp没有正常杀死的情况下,再次提交topology时会碰到以下问题反复出现以下问题2014-12-01T20:31:09.797+0800 b.s.d.supervisor转载 2016-04-13 19:41:30 · 900 阅读 · 0 评论 -
Storm的并行度详解
文章来源:http://www.bubuko.com/infodetail-822074.htmlStorm的并行度详解Storm的并行度是非常重要的,通过提高并行度可以提高storm程序的计算能力。那strom是如何提高并行度的呢?Strom程序的执行是由多个supervisor共同执行的。supervisor运行的是topology中的spout/b转载 2016-04-13 19:38:59 · 7204 阅读 · 0 评论 -
Storm数据流模型的分析及讨论
文章来源:http://www.cnblogs.com/panfeng412/archive/2012/07/29/storm-stream-model-analysis-and-discussion.html更多文章 :http://www.cnblogs.com/panfeng412/tag/本文首先介绍了Storm的基本概念和数据流模型,然后结合一个典型应用场景来转载 2016-04-13 19:32:10 · 2351 阅读 · 0 评论 -
storm 报错:java.nio.channels.ClosedChannelException: null
STORM集群 + KAFKA单机性能测试文章来源:http://www.cnphp6.com/archives/51272简述storm集群数据处理性能与kafka整合时性能瓶颈点及解决方式。 storm与kafka单机功能整合很顺利,但是到了storm集群环境和数据处理性能时则出现了一些问题,现将测试过程和问题简单记录如下: 性能指标:每分钟转载 2016-04-13 19:05:20 · 18287 阅读 · 0 评论 -
storm详解: storm分布式单词计数
文章来源:http://www.aboutyun.com/thread-9818-1-1.html大数据系列零基础由入门到实战视频问题导读1.Storm拓扑包含哪些基本元素?2.如何描述单词计数拓扑数据流?3.典型的Bolt执行哪些功能?4.什么是Storm流分组?本章,主要转载 2016-04-13 19:02:01 · 5004 阅读 · 0 评论 -
storm、hbase、kafka整合过程中遇到的log4j冲突问题
文章来源:http://itindex.net/detail/55255-storm-hbase-kafka标签: storm hbase kafka | 发表时间:2016-02-24 04:22 | 作者:ynp出处:http://www.iteye.comstorm、hbase、kafka整合过程中遇到的log4j冲突问题---》报错S转载 2016-04-12 18:44:30 · 4183 阅读 · 0 评论 -
Storm实战常见问题及解决方案
转载请注明:http://blog.sina.com.cn/s/blog_8c243ea30101k0k1.html目录文档说明... 2问题锦集... 21 关于Storm集群... 21.1 关于storm集群的环境变量配置问题... 21.2 关于zookeeper集群安装问题... 21.3 关于Storm中tuple转载 2016-03-16 20:59:56 · 1229 阅读 · 0 评论 -
org.apache.storm.thrift.transport.TTransportException
Exception in thread "main" java.lang.RuntimeException: org.apache.storm.thrift.transport.TTransportExceptionat org.apache.storm.StormSubmitter.submitTopologyAs(StormSubmitter.java:256)at org.apach原创 2016-11-25 16:04:17 · 13058 阅读 · 0 评论