Storm学习笔记
关注
分享
扫一扫
文章平均质量分 91
-无妄-
本人主要记录的是学习笔记和其他参考，持续学习中。。。
展开
-
Storm学习笔记（2）- Storm核心概念 **
文章目录Storm核心概念理解记忆之地铁运行模型Storm核心概念理解记忆之StormStorm核心概念总结官方链接：http://storm.apache.org/releases/1.2.2/Concepts.html核心概念Topologies拓扑，将整个流程串起来Streams流，数据流，水流Spouts产生数据/水的东西Bolts处理数据/水的东西 水壶/水...原创 2018-12-26 14:51:45 · 249 阅读 · 1 评论 -
Storm学习笔记（3）- Storm编程 **
文章目录Storm开发环境搭建Storm核心接口ISpout详解IComponent详解IBolt详解Storm求和案例编程Storm词频案例编程Storm开发环境搭建本地环境配置： jdk: 1.8 windows: exe linux/mac(dmg): tar ..... 把jdk指定到系统环境变量(~/.bash_profile) export JAVA_HOM...原创 2018-12-26 16:28:19 · 342 阅读 · 1 评论 -
Storm学习笔记（4）- Storm架构及部署 **
文章目录Storm架构详解Storm单机部署改写Storm作业并提交到Storm单节点集群运行Storm架构详解Storm架构 类似于Hadoop的架构，主从(Master/Slave) Nimbus: 主 集群的主节点，负责任务(task)的指派和分发、资源的分配 Supervisor: 从 可以启动多个Worker，具体几个呢？可以通过配置来指定(后面笔记整理...原创 2018-12-27 09:34:14 · 595 阅读 · 0 评论 -
Storm学习笔记（5）- 并行度 **
文章目录并行度概念详解Storm作业运行UI页面上的参数详解并行度设置worker数量的设置executor数量的设置task数量的设置acker的设置并行度案例讲解及并行度动态调整官方链接http://storm.apache.org/releases/1.2.2/Understanding-the-parallelism-of-a-Storm-topology.html并行度概念详解...原创 2018-12-29 10:24:35 · 479 阅读 · 0 评论 -
Storm学习笔记（1） - 初识实时流处理Storm **
Strom是什么为什么使用stormApache Storm是一个免费的开源分布式实时计算系统。Storm使得可靠地处理无边界的数据流变得非常容易，就像Hadoop处理批处理一样，能够实时处理数据流。Storm很简单，可以和任何编程语言一起使用，使用起来很有趣!Storm有很多用例:实时分析、在线机器学习、连续计算、分布式RPC、ETL等等。Storm非常快**:一个基准测试记录了它在每个节...原创 2018-12-26 11:28:25 · 1218 阅读 · 0 评论 -
Storm学习笔记（6）- Stream Grouping概述 **
文章目录Shuffle groupingFieldGroupingAllGrouping定义topology 的一部分是为每个bolt 指定它应该接收哪些Stream作为输入。Stream Grouping定义了如何在bolt的任务之间划分该Stream。Storm中有8个内置的流分组，您可以通过实现 CustomStreamGrouping来实现自定义流分组:Shuffle group...原创 2019-01-02 10:26:43 · 416 阅读 · 0 评论 -
Storm学习笔记（7）- DRPC **
文章目录RPC原理图解基于Hadoop的RPC实现Storm DRPC概述本地DRPC远程DRPC官方网站：http://storm.apache.org/releases/1.2.2/Distributed-RPC.htmlRPC原理图解基于Hadoop的RPC实现添加依赖<!--添加cloudera的repository--><repositories>...原创 2019-01-02 14:35:02 · 535 阅读 · 0 评论