
流处理
Xlucas
做自己,做一个最普通的分享者
展开
-
流处理旅程——storm的部署
核心: 1、环境准备 2、storm的本地启动模式 3、storm的分布安装 4、storm的参数介绍 5、storm启动 6、storm UI 各项属性介绍 7、storm的停止1、环境 1、jdk1.7 2、zookeeper 3、SSH服务 4、python2.7 5、准备3台机器 master 192.168.18.144 slave1 192.原创 2017-02-05 22:37:49 · 1628 阅读 · 0 评论 -
流处理旅程——storm之spout介绍
核心 Spout中方法的说明1、Spout数据源 消息源Spout是storm的Topology中的消息生产者。2、spout介绍 2、1spout的结构 Spout是storm的核心组件之一,最源头的接口是IComponent2、2Spout发出的消息 Spout从外部获取数据后,向Topology中发出的Tuple可以是可靠的,也可以是不可靠的。 注意:一个可靠的消息源可以重新发射原创 2017-02-16 23:53:47 · 7663 阅读 · 0 评论 -
流处理旅程——storm之入门实例
核心 创建Topology并向集群提交任务topology是storm的核心概念之一,是将Spout和Bolt融合在一起的纽带,在storm集群中运行,完成实时计算的任务,在storm集群中,topology的定义是一个Thrift结构,并且nimbus就是一个thrift服务,可以提交由任何语言创建的topology1、创建Topology 在创建一个Topology之前,设计一个Topol原创 2017-02-09 23:14:08 · 727 阅读 · 0 评论 -
流处理旅程——storm之tuple介绍
核心 介绍tuple的作用tuple元组 tuple是storm的主要数据结构,并且是storm中使用的最基本单元、数据模型和元组tuple描述 tuple就是一个值列表,tuple中的值可以是任何类型的,动态类型的tuple的fields可以不用声明,默认情况下,storm中的tuple支持私有类型、字符串、字节数组等作为它的字段值,如果使用其他类型,就需要序列化该类型。 tuple的原创 2017-02-13 23:05:17 · 6399 阅读 · 1 评论 -
流处理旅程——认识storm
核心 1、什么是实时流计算 2、实时计算处理流程 3、strom的特点 4、storm的设计思想 5、storm与hadoop的角色和组件比较 6、storm的核心组件1、什么是实时流计算 所谓的实时流计算,就是近几年由于数据得到广泛应用之后,在数据持久化性建模不满足现状的情况下,急需数据流的瞬间建模或者计算处理。这种实时计算的应用实例有金融服务、网络监控、电信数据管理、web原创 2017-02-03 23:28:30 · 1640 阅读 · 0 评论