大数据流式计算 apache storm 学习笔记 01 ---汪文君

wei198621

于 2021-04-05 08:45:59 发布

阅读量595

点赞数

本文链接：https://blog.youkuaiyun.com/wei198621/article/details/115437750

版权

这是一份汪文君关于Apache Storm 1.2.2的详细实战教程，涵盖从基础介绍、集群环境搭建、Topology开发到并行度分析、数据分组策略、担保数据处理等多个方面，适合学习流式计算的初学者和进阶者。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

汪文君Apache Storm1.2.2实战

9个小时
https://www.bilibili.com/video/BV1et41147xq?p=1

P1汪文君Apache Storm1.2.2实战-01讲-Apache Storm的介绍 20:53
P2汪文君Apache Storm1.2.2实战-02讲-Apache Storm关键组件的详细讲解 14:42
P3汪文君Apache Storm1.2.2实战-03讲-Apache Storm集群环境搭建详解 33:09
P4汪文君Apache Storm1.2.2实战-04讲-第一个Topology程序开发本地模式 23:53
P5汪文君Apache Storm1.2.2实战-05讲-第一个Topology程序开发集群模式 23:26
P6汪文君Apache Storm1.2.2实战-06讲-Storm并行度核心概念讲解 42:54
P7汪文君Apache Storm1.2.2实战-07讲-通过程序运行分析Topology的并行度-上 29:56
P8汪文君Apache Storm1.2.2实战-08讲-通过程序运行分析Topology的并行度-下 17:39
P9汪文君Apache Storm1.2.2实战-09讲-Storm Topology的Rebalance 10:41
P10汪文君Apache Storm1.2.2实战-10讲-分析Storm Topology并行度内容补充 11:26
P11汪文君Apache Storm1.2.2实战-11讲-shuffle grouping数据分组详解 25:46
P12汪文君Apache Storm1.2.2实战-12讲-shuffle grouping数据分组详解（补充） 05:49
P13汪文君Apache Storm1.2.2实战-13讲-fields grouping数据分组详解（戴耳机听） 23:29
P14汪文君Apache Storm1.2.2实战-14讲-all grouping讲解前的分析过程 20:26
P15汪文君Apache Storm1.2.2实战-15讲-all grouping详细讲解 14:16
P16汪文君Apache Storm1.2.2实战-16讲-global grouping详细讲解 25:51
P17汪文君Apache Storm1.2.2实战-17讲-direct grouping详细讲解 26:17
P18汪文君Apache Storm1.2.2实战-18讲-none grouping& localOrShuffe grouping 04:52
P19汪文君Apache Storm1.2.2实战-19讲-如何自定义storm grouping详解 33:33
P20汪文君Apache Storm1.2.2实战-20讲-综合案例之电信号码主叫被叫实时统计 24:01
P21汪文君Apache Storm1.2.2实战-21讲-综合案例之Word Count 25:05
P22汪文君Apache Storm1.2.2实战-22讲-Storm担保数据被处理ack,failed,timeout,exeption讲解（戴耳机听） 26:53
P23汪文君Apache Storm1.2.2实战-23讲-Storm Fully担保数据被处理的案例分析 15:38
P24汪文君Apache Storm1.2.2实战-24讲-一些担保数据被处理的方案讲解 16:30
P25汪文君Apache Storm1.2.2实战-25讲-高级Tuple的使用（Tick Tuple） 16:42

指令

-----启动nimbus 
storm nimbus &   
--- 修改 日志级别 ------方便查看日志 比如将日志从 info 降级为  warn 
[root@storm51 log4j2]# vim /usr/local/storm/log4j2/worker.xml 
---- 查看日志记录 
[root@storm51 logs]# tail -f 200 /usr/local/storm/logs/nimbus.log
--- 查看 topology 的日志
[root@storm53 workers-artifacts]# pwd
/usr/local/storm/logs/workers-artifacts
[root@storm53 workers-artifacts]# ll
total 0
drwxr-xr-x. 3 root root 18 Apr 10 02:13 tp1-1-1618046001
drwxr-xr-x. 3 root root 18 Apr 10 02:51 tp2-2-1618048284
drwxr-xr-x. 3 root root 18 Apr 10 03:51 tp6-7-1618051908

P1汪文君Apache Storm1.2.2实战-01讲-Apache Storm的介绍 20:53

项目	Value
1	Java8 In Action
1	Apache Flume
1	PowerMock
1	Concordion
1	Mockito
1	Apache Sqoop
1	Java Concurrency
1	Google Guava
1	Scala In Action
1	Apache Kafka 0.11.x
1	Metrics
1	JMH
1

在这里插入图片描述
官网： https://storm.apache.org/

流式计算产品 Streaming Compute System

项目	Value
1	Apache Spark Streaming
1	Apache Flink
1	Apache Kafka Streaming
1	Apache Storm
1	… …

课程大纲
在这里插入图片描述

P2汪文君Apache Storm1.2.2实战-02讲-Apache Storm关键组件的详细讲解 14:42

在这里插入图片描述

A Storm cluster follows a master-slave model

1.Master主节点-------Nimbus
The Nimbus node is the master in a Storm cluster.
The Nimbus is stateless and stores all of its data in Zookeeper.There is a single Nimbus node in a Storm cluster.

2.Supervisor Nodes 工作节点

3.Tuples --The Storm data model

4.Storm Topology
在这里插入图片描述 5.Spout&Stream&Bolt
5.1 Spout: A spout is the source of tuples in a Storm Topology
5.2 Bolt: A bolt is the processing powerhouse of a Storm topology , and is responsible for transforming a stream
5.3 Stream: The key abstraction in Storm is tha of a stream.

P3汪文君Apache Storm1.2.2实战-03讲-Apache Storm集群环境搭建详解 33:09

视频作者用时30分钟讲完，leo用时4个小时搭建完成（20210405），作者用1.2.2 ，Leo用 1.2.3

linux centos 7.6 安装 Apache Storm1.2.3
https://blog.youkuaiyun.com/wei198621/article/details/115449855

P4汪文君Apache Storm1.2.2实战-04讲-第一个Topology程序开发本地模式 23:53

在这里插入图片描述


spout 生成随机数  交个  bolt 显示 
****outputCollector 用于发送数据
step1. RandomStringSpout.java   
 -------------   SpoutOutputCollector.emit(new Tuple(...));     将数据通过collector 以tuple 格式  发送 
 -------------   OutputFieldsDeclarer.declare(new Fields("stream"));  命名发送的tuple 为stream 
step2. WrapStarBolt.java           Tuple.getStringByField("stream");    获取spout 发过来的 名为 stream 的 tuple 
step3. WrapWellBolt.java           Tuple.getStringByField("stream");    获取spout 发过来的 名为 stream 的 tuple 

step4. RandomStringTopologyLocal.java 
4.1   topoBuilder= new TopologyBuilder() 将 1 2 3 步骤的 spout  Bolt 赋值给此 TopologyBuilder
4.2    cluster =  new LocalCluster()   定义cluster 
4.3    conf = new Config()     定义cluster 的配置 
4.4   cluster.submitTopology( *, conf, topoBuilder);  cluster 提交 TopologyBuilder

P5汪文君Apache Storm1.2.2实战-05讲-第一个Topology程序开发集群模式 23:26

启动zookeeper storm 集群

[root@centos7-7 bin]# ll
total 24
-rwxr--r--. 1 root root 466 Apr  8 06:06 ctlkafkaauto.sh
-rwxr--r--. 1 root root 133 Apr  8 09:23 ctlstorm.sh
-rwxr--r--. 1 root root 394 Apr  8 06:06 ctlzookeeperauto.sh
lrwxrwxrwx. 1 root root  36 Apr  8 06:09 jps -> /usr/local/java/jdk1.8.0_251/bin/jps
-rwxr--r--. 1 root root 154 Apr  8 06:06 xcallkafka.sh
-rwxr--r--. 1 root root 153 Apr  8 08:31 xcallstorm.sh
-rwxr--r--. 1 root root 145 Apr  8 06:06 xcallzk.sh
[root@centos7-7 bin]# ctlzookeeperauto.sh start
...  暂时还不可以批量执行  需要手动执行   
[root@centos7-7 bin]# cat ctlstorm.sh 
ssh storm51 "storm ui 1>/dev/null 2>&1"
ssh storm51 "storm nimbus 1>/dev/null 2>&1"