liyonghui123的专栏

  作为storm的使用者，有两件事情要做以更好的利用storm的可靠性特征。 首先，在你生成一个新的tuple的时候要通知storm; 其次，完成处理一个tuple之后要通知storm。 这样storm就可以检测整个tuple树有没有完成处理，并且通知源spout处理结果。storm提供了一些简洁的api来做这些事情。由一个tuple产生一个新的tuple称为： anchoring。你发...

 今天有个storm的topology被人kill掉了，但是找不到是谁做的，storm的ui有kill topology的功能，但是没有权限验证，这样就导致知道ui地址的任何人都可以kill掉topology，比较危险，考虑把这个action disable掉。 　　有两种方法： 　　1.前端增加nginx，做location 　　分析ui页面，对应kill的but...

 配置项配置说明storm.zookeeper.serversZooKeeper服务器列表storm.zookeeper.portZooKeeper连接端口storm.local.dirstorm使用的本地文件系统目录(必须存在并且storm进程可读写)storm.cluster.modeStorm集群运行模式([distribute...

 scp -r  bigdata@gs-server-v-127:~/storm_eco bigdata@gs-server-v-128:~/storm_ecoscp -r  bigdata@gs-server-v-127:~/storm_eco bigdata@gs-server-v-129:~/storm_eco安装GCCsudo yum install gcc*# sudo yum ...

 Flume-1.5.0+Kafka_2.9.2-0.8.1.1+Storm-0.9.2 分布式环境整合# 整合场景使用Flume监控指定目录，出现新的日志文件后将文件数据传到Kafka，最后由Storm从Kafka中取出数据并显示、、、# Flume+Kafka的整合# Flume的fks001.conf的配置文件监控指定目录/usr/local/yting/flume/tdata/td...

 storm 报错出现如下错误： java.io.IOException: No such file or directory at java.io.UnixFileSystem.createFileExclusively(Native Method) at java.io.File.createNewFile(File.java:883) at com.future.util.r...

  storm程序kill是出现错误，storm kill不掉运行的Topology  Topology 的持久化状态包括： active, inactive, killed, rebalancing 四个状态。代码上看到每种状态都可以转换成一些持久化 ( 写入到 zk 中的状态 ) 或者中间状态。 我们在shell上的操作实际上就是改变的zookeeper数据...

  1  org.slf4j.impl.StaticLoggerBinder.SINGLETON错误方案：确保slf4j-api-1.5.6.jar 和slf4j-log4j12-1.5.6.jar 版本一致如果发布，pom中其他依赖的jar包排除上面两个 2 本地调试不行，在LocalCluster cluster = new LocalCluster();突然停...

 flume-ng+Kafka+Storm+HDFS 实时系统组合 1）.数据采集负责从各节点上实时采集数据，选用cloudera的flume来实现2）.数据接入由于采集数据的速度和数据处理的速度不一定同步，因此添加一个消息中间件来作为缓冲，选用apache的kafka3）.流式计算对采集到的数据进行实时分析，选用apache的storm4）.数据输出对...

    public static void initConnectDB(){ primaryKey = "id"; rdbmsUrl = "jdbc:mysql://hadoop/DB" ; rdbmsUserName = ""; rdbmsPasswor...

 事务性Topologies是包含在Storm0.7.0版本中的新特性，它激活消息语义来确保你以一种安全的方式重放元组并且它们只会被处理一次。没有事务性topologies的支持，你不可能以一种完全精确、可扩展和容错的方式计数。事务性Topologies是建立标准Storm spout和bolts之上的一个抽象。设计在事务性topology中，Storm使用并行和顺序元组处理的混合模式。S...

 先讲下DRPC的原理：    客户端给DRPC服务器发送要执行的方法的名字，以及这个方法的参数。实现了这个函数的topology使用DRPCSpout从DRPC服务器接收函 数调用流。每个函数调用被DRPC服务器标记了一个唯一的id。 这个topology然后计算结果，在topology的最后一个叫做ReturnResults的bolt会连接到DRPC服务器，并且把这个调用的结 果发送给D...

 strom DRPC服务调用例子DRPC服务端代码import java.util.Map;import backtype.storm.Config;import backtype.storm.StormSubmitter;import backtype.storm.drpc.LinearDRPCTopologyBuilder;import backtype.stor...

  有人把storm的一本书翻译成了英文，在网上可以看到，看了看觉得有些简单。地址提供给大家，希望对学习storm能有些帮助http://ifeve.com/getting-started-with-stom-index/ 比较深一点的文章 http://xumingming.sinaapp.com/category/storm/ 疯狂的菠菜http://m...

TopologyContext利用这一特性，你能够把流划分到多个spouts读取。public void open(Map conf, TopologyContext context, SpoutOutputCollector collector) { //从context对象获取spout大小 int spoutsSize = context....

自定义数据流组你可以通过实现backtype.storm.grouping.CustormStreamGrouping接口创建自定义数据流组，让你自己决定哪些bolt接收哪些元组。让我们修改单词计数器示例，使首字母相同的单词由同一个bolt接收。 public class ModuleGrouping mplents CustormStreamGrouping, Serializab...

 实现了滑动窗口计数和TopN排序, 比较有意思, 具体分析一下代码Topology这是一个稍微复杂些的topology, 主要体现在使用不同的grouping方式, fieldsGrouping和globalGroupingString spoutId = "wordGenerator";String counterId = "counter";String intermedi...

 配置项配置说明storm.zookeeper.serversZooKeeper服务器列表storm.zookeeper.portZooKeeper连接端口storm.local.dirstorm使用的本地文件系统目录(必须存在并且storm进程可读写)storm.cluster.modeStorm集群运行模式([distributed|local])storm.loca...