Gpwner的博客

1.温故而知新，使用词频统计实现TopN，以下是使用到的依赖：<dependencies> <dependency> <groupId>org.apache.storm</groupId> <artifactId>storm-core</artifactId> <version>1.1.0</version>

1.环境apache-storm-1.1.0Hadoop 2.8.0使用到的依赖：<dependencies> <dependency> <groupId>org.apache.storm</groupId> <artifactId>storm-core</artifactId> <version>1.1.0<

当打包拓扑到集群中运行的时候，如果你得到了这么一个错误：Error preparing HdfsBolt: No FileSystem for scheme: hdfs原因在这里： http://storm.apache.org/releases/0.10.0/storm-hdfs.html大概是说，如果使用到hadoop client相关的，要使用maven-shade-plugin插件来代替m

本博客基于以下软件：Centos 7.3（1611）kafka_2.10-0.10.2.1.tgzzookeeper-3.4.10.tar.gzhbase-1.3.1-bin.tar.gzapache-storm-1.1.0.tar.gzhadoop-2.8.0.tar.gzjdk-8u131-linux-x64.tar.gzIntelliJ IDEA 2017.1.3 x64 I

今天重新安装了一下strom:apache-storm-1.1.0.tar.gz解压之后，在写配置文件：Storm/conf/storm.yaml完成之后，启动报错 说是无法解析配置文件Caused by: while parsing a block mapping in 'reader', line 18, column 1: storm.zookeeper.servers:

写storm的时候，有的时候控制台会输出很多很多的“INFO”信息，造成自己写的System.out.println之类的信息会被冲刷掉，做接下来的配置能够有效地输出指定Log信息。参考：https://logging.apache.org/log4j/2.x/manual/configuration.html在classpath下新建一个log4j2.xml文件，里面填充一下内容：<?xml ve

软件环境：Apache-storm-1.1.0一个组件类的并行度与其实例化的个数有什么关系？来探索一下， 首先我配置控制台的输出，只输出日志的WARN级别以上和标准输出的信息http://blog.youkuaiyun.com/gpwner/article/details/74170806然后利用storm-starter的例子：import java.util.Map;import org.apache.

软件环境：storm1.1.0使用一个600多兆的网站日志来模拟网站每天产生的日志信息120.197.87.216 - - [04/Jan/2012:00:00:02 +0800] "GET /home.php?mod=space&uid=563413&mobile=yes HTTP/1.1" 200 3388 "-" "-"123.126.50.73 - - [04/Jan/2012:00:00

Storm允许用户在spout中发射一个新的源tuple时为其指定一个message id, 这个message id可以是任意的object对象。多个源tuple可以共用一个message id，表示这多个源 tuple对用户来说是同一个消息单元。 storm中记录级容错的意思是说， storm会告知用户每一个消息单元是否在指定时间内被完全处理了。那什么叫做完全处理呢，就是该message id绑