storm
关注
分享
扫一扫
大数据的未来
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
storm trident function函数
package cn.crxy.trident; import java.util.List; import backtype.storm.Config; import backtype.storm.LocalCluster; import backtype.storm.generated.StormTopology; import backtype.storm.tupl原创 2015-08-23 12:38:18 · 1313 阅读 · 1 评论 -
strom 官方DRPC
storm 官方DRPC package drpc; import backtype.storm.Config; import backtype.storm.LocalCluster; import backtype.storm.LocalDRPC; import backtype.storm.StormSubmitter; import backtype.storm.drpc.LinearD原创 2015-10-04 21:04:58 · 948 阅读 · 0 评论 -
storm的集群安装与配置
storm集群安装 机器：(storm及zookeeper都是这3台机器) 192.168.80.20 192.168.80.21 192.168.80.22 需要准备的软件有： zookeeper(zookeeper-3.4.4.tar.gz),storm(storm-0.8.1.zip) ,jdk 1、配置zookeeper 这里就不介绍了！原创 2015-08-08 12:35:21 · 985 阅读 · 2 评论 -
storm单词计数 本地执行
import java.io.File; import java.io.IOException; import java.util.Collection; import java.util.HashMap; import java.util.List; import java.util.Map; import java.util.Map.Entry; import org.a原创 2015-08-07 23:29:06 · 979 阅读 · 1 评论 -
storm 远程过程调用及客户端调用
server端： import java.util.Map; import org.apache.thrift7.TException; import backtype.storm.Config; import backtype.storm.ILocalDRPC; import backtype.storm.LocalCluster; import backtype.storm.Loc原创 2015-08-23 00:02:59 · 2518 阅读 · 0 评论 -
storm trident merger
import java.util.List; import backtype.storm.Config; import backtype.storm.LocalCluster; import backtype.storm.generated.StormTopology; import backtype.storm.tuple.Fields; import backtype.storm.t原创 2015-08-23 12:50:15 · 820 阅读 · 0 评论 -
storm fieldsGrouping按照字段分组
package cn.crxy.storm; import java.util.Map; import backtype.storm.Config; import backtype.storm.StormSubmitter; import backtype.storm.generated.AlreadyAliveException; import backtype.sto原创 2015-08-22 21:21:44 · 4881 阅读 · 0 评论 -
storm 并行度
1个worker进程执行的是1个topology的子集（注：不会出现1个worker为多个topology服务）。1个worker进程会启动1个或多个executor线程来执行1个topology的component(spout或bolt)。因此，1个运行中的topology就是由集群中多台物理机上的多个worker进程组成的。 executor是1个被worker进程启动的单独线程。每原创 2015-08-22 22:14:23 · 1029 阅读 · 0 评论 -
storm 消息确认机制及可靠性
worker进程死掉 在一个节点 kill work进程 比如 kill 2509 对work没有影响 因为会在其他节点重新启动进程执行topology任务 supervisor进程死掉 supervisor进程kill掉 对work进程没有影响 因为他们是互相独立的！！ nimbus进程死掉(存在HA的问题) nimbus如果死掉 整个任务挂掉 存在单点故障问题！(hadoop2有原创 2015-08-22 22:01:52 · 1749 阅读 · 0 评论 -
storm shuffleGrouping随机分组
import java.util.Map; import backtype.storm.Config; import backtype.storm.StormSubmitter; import backtype.storm.generated.AlreadyAliveException; import backtype.storm.generated.InvalidTopologyExce原创 2015-08-22 21:28:38 · 4056 阅读 · 0 评论 -
storm trident groupby
import java.util.HashMap; import java.util.List; import java.util.Map; import java.util.Map.Entry; import backtype.storm.Config; import backtype.storm.LocalCluster; import backtype.storm.generat原创 2015-08-23 14:39:35 · 1462 阅读 · 0 评论 -
storm trident实现单词计数
package cn.crxy.trident; import java.io.File; import java.util.Collection; import java.util.HashMap; import java.util.List; import java.util.Map; import java.util.Map.Entry; import org.apac原创 2015-08-23 14:06:07 · 1074 阅读 · 2 评论 -
storm trident 自定义spout
package cn.crxy.trident; import java.util.ArrayList; import java.util.HashMap; import java.util.List; import java.util.Map; import storm.trident.TridentTopology; import storm.trident.ope原创 2015-08-23 13:24:37 · 1600 阅读 · 0 评论 -
storm trident
import java.util.List; import backtype.storm.Config; import backtype.storm.LocalCluster; import backtype.storm.generated.StormTopology; import backtype.storm.tuple.Fields; import backtype.storm.t原创 2015-08-23 12:40:18 · 740 阅读 · 0 评论 -
kafka+storm+hbase架构设计
kafka+storm+hbase架构设计 我们都知道，kafka作为分布式消息系统，实时消息系统，有生产者和消费者；storm作为大数据的实时处理系统；hbase是apache hadoop 的数据库，其具有高效的读写性能！ 这里把kafka生产的数据作为storm的源头spout来消费，经过bolt处理把结果保存到hbase。 基础环境：这里就不介绍了！！ hadoop集群 ka原创 2015-09-26 15:11:54 · 7600 阅读 · 13 评论