
storm
LC900730
这个作者很懒,什么都没留下…
展开
-
Storm中拓扑
TopologyBuilder是构建拓扑的类,用于指定执行的拓扑。创建提交拓扑new关键字创建一个TopologyBuilder对象,然后调用setSpout方法设置Spout,接着调用setBolt方法设置Bolt,最后调用createTopology方法返回StormTopology对象给submitTopology方法作为输入参数。//创建TopologyBuilder对象Topolog原创 2017-12-08 10:13:37 · 691 阅读 · 0 评论 -
Storm基本概念
Spout是计算流的来源。通常在系统中spout从Kestrel、RabbitMQ和kafka等消息队列读取,但是spout还可以生成自己的流或者从某个API读取。 Bolt处理任意数量的输入流,并且产生任意数量的新的输出流。大多数的逻辑计算进入bolt,如功能、过滤、流连接与数据库交互等。 Topology是一个由很多Spout和Bolt构成的网络,网络上每条边代表了一个Bolt订阅的数据流,原创 2017-12-06 18:14:48 · 431 阅读 · 0 评论 -
Bolt概述
Bolt是一个组件,以元组作为输入,以生成元组作为输出。当编写Bolt的时候,通常会实现IRichBolt接口。在客户端主机中创建Bolt,序列化到拓扑,并提交到集群中的主控节点。集群启动Worker,反序列化Bolt,准备调用它,然后开始处理元组。prepare():仅在bolt开始处理Tuple之前调用。 execute():处理一个Tuple的输入。继承BaseRichBolt的Bolt类,原创 2017-12-08 16:31:47 · 1244 阅读 · 0 评论 -
Tuple接口
Tuple是Storm中主要数据结构,在Storm发送接收消息过程中,每一条消息都是一个Tuple对象。Storm提供了Tuple的默认实现类TupleImpl。它除了实现Tuple接口外,还实现了Clojure定义的几个接口Seqable、Indexed和IMeta,实现这些接口的目的是为了在Clojure代码中能更好操纵Tuple对象。ack-fail机制: * 1.需要ackfail时候,请原创 2017-12-09 10:10:08 · 626 阅读 · 0 评论 -
storm初识
storm集群搭建 storm核心组件 storm编程模型 storm task并发度 storm 消息容错 storm 通信机制 storm 与zk交互 strom 流式计算的一般架构 kfaka集群搭建 kfaka生产集群的原理/分区 kafka消费者的负载均衡 kafka消费者的负载均衡–kafkaspout kafka broker核心机制(topic 分片 文件存储原创 2017-11-16 13:56:22 · 350 阅读 · 0 评论 -
storm配置文件
storm.zookeeper.servers:- "centos701"- "centos702"storm.local.dir:”/data/storm”storm的numbus和worker进程需要一个目录来存放一小部分状态数据,如jars、confs等等。我们需要在每台机器上创建这个目录并且赋予响应权限。numbus.host:”centos701”worker节点需要知道哪个机器原创 2017-12-05 17:19:34 · 840 阅读 · 0 评论 -
Jps中出现process information unavailable
jps 报process information unavailable解决办法:cd /tmpll删除hsperfdata_{用户名}目录原创 2017-12-08 10:35:23 · 840 阅读 · 0 评论