
storm
文章平均质量分 81
shj1119
这个作者很懒,什么都没留下…
展开
-
storm安装小记
1 所需安装软件0.8系列的底层通信用的是zeromq,所以在安装的时候,需要安装zeromq等软件,也是网络上可以找到的很多storm安装资料中都会提到的一些软件 0.9系列底层开始支持jetty通信,但默认还是zeromq,所以要改成jetty的话,需要在storm.yaml中添加一些配置项 我安装的时候下载的截止目前最新版本0.9.5,貌似默认就是jetty通信,在安装的时候原创 2015-09-28 17:50:19 · 1786 阅读 · 0 评论 -
kafka安装以及集成storm测试
1 zookeeper安装zookeeper的安装很简单,只需要解压后,修改下zoo.cfg,配置dataDir和server.1=节点1:2888:3888server.2=节点2:2888:3888server.3=节点3:2888:3888然后在每个节点指定的datadir下建立myid文件并写入编号同时注意修改每个节点的hosts文件启动命令,需要三个节点分别启原创 2015-09-30 11:09:04 · 1090 阅读 · 0 评论 -
kafka与storm集成测试问题小结
1 拷贝kafka依赖jar包到storm lib[root@hdmaster libs]# cp kafka_2.10-0.8.2.1.jar /opt/apache-storm-0.9.5/lib/[root@hdmaster libs]# cp scala-library-2.10.4.jar /opt/apache-storm-0.9.5/lib/[root@hdmaster原创 2015-09-30 11:12:26 · 16541 阅读 · 2 评论 -
storm jar包执行报错问题解决
1 要将kafka和zookeeper的ip 机器名都要配在storm集群各节点的hosts中,只配zk的不行,storm kafka spout会通过zk去找kafka地址,zk中存的kafka地址是域名。java.lang.RuntimeException: java.nio.channels.ClosedChannelException at storm.kafka.Z原创 2015-10-12 15:08:15 · 3215 阅读 · 0 评论 -
windows storm安装及本地模式执行
1 下载storm安装文件,解压缩2 cmd中切换到bin目录下,执行 storm命令,提示 error JAVA_HOME is incorrectly set 经寻找原因是 java home路径中含有空格,因为java安装在了program files目录下,在storm bin目录下的storm-config.cmd中可以看到能找到java_home,但是执行到这里的时候出问题原创 2015-10-12 18:04:21 · 3257 阅读 · 0 评论 -
storm使用redis池与长链接的区别
storm的bolt中使用redis有两种方式,1)在prepare中初始化jedis链接,在execute方法中,执行提交方法。 2)在prepare中初始化连接池,每次execute中从池中取jedis,然后再提交数据,然后归还连接。 用池好处:万一发生了连接异常,catch捕获调fail,下一条数据执行execute照常进行,从池里取连接不会受影响。另外一个好处,就是如果一个e原创 2016-04-06 18:16:54 · 3398 阅读 · 0 评论