Storm案例：统计单词个数

最新推荐文章于 2024-10-09 10:14:53 发布
最新推荐文章于 2024-10-09 10:14:53 发布
阅读量1.5k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 探索大数据-从Hadoop到Flink 文章标签： Storm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/howard2005/article/details/79331555
本文介绍了如何使用Apache Storm进行实时单词计数，详细讲解了从创建Java项目到编写LineSpout、SplitLineBolt、WordCountBolt、ReportBolt以及WordCountTopology的全过程，并在项目根目录下提供test.txt文件进行测试运行。

目录

一、解决思路

1、LineSpout

2、SplitLineBolt

3、WordCountBolt

4、ReportBolt

5、WordCountTopoloty

二、实施步骤

1、创建Java项目StormWordCount

2、创建lib目录，添加storm的jar包

3、编写LineSpout

4、编写SplitLineBolt

5、编写WordCountBolt

6、编写ReportBolt

7、编写WordCountTopology

8、在项目根目录创建test.txt文件

9、运行WordCountToplogy

一、解决思路

读取行==》切分行==》统计单词==》输出结果

1、LineSpout

读取外部数据、转换成为tuple、发送数据流
 

2、SplitLineBolt

获取tuple中的行
按照空格切分出单词
将单词转换成tuple
发送数据流
 

3、WordCountBolt

累计统计单词出现的次数
每当发现单词的数量发生变化时
将单词和最新的数量转换成tuple
发送数据流
 

4、ReportBolt

将最新的单词计数进行打印
 
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Storm案例程序(一)——单词统计
小蜉蝣星蔚的博客
03-23 1096
storm案例程序——单词统计 书上的经典案例 《Storm分布式实时计算模式》 单词统计 通过Spout读取字符串，然后发送到第一个bolt对文本进行切割，然后在对切割好单词把相同的单词发送给第二个bolt来统计。 第一步：创建spout数据源 第二步：实现单词切割bolt 第三步：对单词进行统计bolt 第四步：创建Topology拓扑 maven pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="htt
Raptor 经典例题 3 （字符 打印图形 数组）
热门推荐
qq_19716069的博客
05-23 2万+
输入一行字符，分别统计出其中英文字母、空格、数字和其它字符的个数 （运用raptor） 算法：（1）使用字符数组保存一行字符，定义数组s，并输入字符串给s(循环程序) （2）循环程序枚举数组的元素，判断是否是字母、空格、数字和其它字符，分别用变量m,k,n,o进行计数 （3）循环结束决策表达式是该数组的长度 输入：dgdfsg435345 ,]]-8989dfgdfh dfhfg 输出：m=17 k=5 n=10 o=4 ----完成....
storm统计单词数的demo
04-25
本demo根据《learning-storm》这本书籍中的实例，改写的。对于初次学习storm的朋友，是理解storm工作流程的很好入门实例
利用storm实现简单的单词统计
优快云_Hzx的博客
06-13 1066
                WordReader类( spout读取 txt 文档，按行发射给 bolt)public class WordReader implements IRichSpout{/***  序列化*/private static final long serialVersionUID = 1L;private FileInputStream is;private Input...
Storm实现单词统计
皮皮的雅客
10-08 505
源头 Spout public class WordCountSpout implements IRichSpout { private TopologyContext context ; private SpoutOutputCollector collector ; private List&amp;lt;String&amp;gt; states ; private R...
Storm API实现词频统计
05-30
在这个“Storm API实现词频统计”的案例中，我们将深入探讨如何利用Java编程语言和Storm API来构建一个实时的词频统计应用。 首先，我们需要理解Storm的基本架构。Storm由多个组件构成，包括Spout（数据源）、Bolt...
使用Spark RDD算子实现经典实战案例: 热门中文热词频Top10统计 数据分析案例
最新发布
qq_55006020的博客
10-09 624
经典实战案例: 热门中文热词频Top10统计 数据分析案例 详细步骤与实现过程
Java实现Storm平台单词计数案例分析
单词计数是数据处理中的一个非常基础的例子，经常用于演示和教学中，用于统计文本中单词出现的频率。 描述部分和标题相同，为“test_Storm_wordCount”，并没有提供额外的信息。通常在实际的IT项目中，描述会给出该...
storm入门-实时单词统计
xiaoyaGrace的博客
04-01 401
storm概述 Storm是一个分布式计算框架，是一个免费开源的分布式实时计算系统。Storm能轻松可靠地处理无界的数据流，就像Hadoop对数据进行批处理，根据源源不断的数据，实时分析得到不同的结果。 storm应用场景 （1）京东-实时分析系统：实时分析用户的属性，并反馈给搜索引擎（2）携程-网站性能监控：实时分析系统监控携程网的网站性能（3）淘宝双十一：实时统计销售...
Storm实现单词个数统计
gdolphinw的专栏
06-26 328
Java代码 import org.apache.storm.Config; import org.apache.storm.LocalCluster; import org.apache.storm.StormSubmitter; import org.apache.storm.spout.SpoutOutputCollector; import org.apache.storm.task...
storm实时单词计数
03-27
K天熟悉Apache Storm （三）的示例代码，实时单词计数应用场景
Storm实现单词统计案例
张不帅
12-12 1122
需求 实时统计发射到Storm框架中单词的总数 分析 设计一个topology，来实现对文档里面的单词出现的频率进行统计,整个topology分为三个部分 (1)WordCountSpot:数据源,在已知的英文句子中,随机发送一条句子出去 package storm.wordcount; import org.apache.storm.spout.SpoutOutputCollector...
storm程序-单词统计wordcount
Tomorrow never comes
12-16 1861
spout代码：public class MyLocalFileSpout extends BaseRichSpout { public static final String FILE_PATH = "/root/1.log"; // public static final String FILE_PATH = "D:\\1.log"; private SpoutOutput
storm学习篇（二）—— 单词计数实例
默存
07-25 412
利用storm实现简单的单词统计 添加依赖pom.xml &lt;?xml version="1.0" encoding="UTF-8"?&gt; &lt;project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" ...
storm详解：第一章 storm分布式单词计数
好读书，每有会意，便欣然忘食。
11-18 1050
问题导读 1.Storm拓扑包含哪些基本元素？ 2.如何描述单词计数拓扑数据流？ 3.典型的Bolt执行哪些功能？ 4.什么是Storm流分组？ 本章，主要介绍使用storm开发分布式流处理应用的基本概念。我们将构建一个统计持续流动的句子中单词个数的简单应用。通过本章的学习，你将了解到设计一个复杂流计算系统所学需要的多种结构，技术和模式。 我们将首先
Storm实现单词统计代码
kqixiang945的专栏
08-16 168
1 import java.io.File; 2 import java.io.IOException; 3 import java.util.Collection; 4 import java.util.HashMap; 5 import java.util.List; 6 import java.util.Map; 7 import...
storm单词计数实例
弹指天下
02-19 2243
storm有两种运行模式(本地模式和集群模式)      1、 首先创建一个类似于HelloWorld的简单程序，以便进入storm的大门，包结构如下：              2、从包结构可以知道，这是一个Maven Project，pom.xml的内容如下：              http://maven.apache.org/POM/4.0.0"
storm代码处理单词计数
枣泥馅的博客
07-26 549
我们首先画一个单词计数流程图 代码： spout组件 package com.test.demo; import java.util.Map; import java.util.Random; import org.apache.storm.spout.SpoutOutputCollector; import org.apache.storm.task.TopologyContext; import org.apache.storm.topology.OutputFieldsDeclare
storm单词计数 本地执行
梁小明的博客
08-07 991
import java.io.File; import java.io.IOException; import java.util.Collection; import java.util.HashMap; import java.util.List; import java.util.Map; import java.util.Map.Entry; import org.a
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值