Spark3.2教程（二）Windows下Spark Shell编程实现词频统计

原创 已于 2022-05-26 10:16:14 修改 · 9.8k 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #windows #scala

于 2021-12-17 22:45:00 首次发布
本文介绍如何使用Spark进行词频统计编程，通过具体实例演示了从读取文件到完成词频统计的整个过程，读者将了解如何利用Spark的APIs进行数据处理。

Spark提供了两种方式编程方式：
spark-shell
是一个基于Scala语言的交互式解释器，可以在此直接编写Scala执行。
spark-submit
Spark submit是一个命令, 用于提交 Scala 编写的基于 Spark 框架, 这种方式可以支撑在开发工具中开发玩Scala代码之后，在集群中运行任务。

下面我们准备Spark Shell词频统计编程的单词文件，放在D://test/words.txt

apple orange pear
banana lemon apple 
pear peach orange

在CMD中打开Spark Shell，输入以下代码：

读取文件，注意是file:后是一个斜杠，如果是读取hdfs里面则是hdfs://

 val rdd1=sc.textFile("file:/d:/test/words.txt")

将单词根据空格分隔，并放到一个容器中

val rdd2=rdd1.flatMap
最低0.47元/天 解锁文章
Spark入门指南：大数据处理的第一个Hello World程序
AI天才研究院
05-10 1221
随着数据量呈指数级增长，传统单机数据处理技术已无法满足需求。Apache Spark作为当前最主流的大数据处理框架，凭借其“快如闪电”的计算速度（基于内存计算）和“简单易用”的API设计，成为企业级大数据平台的核心工具。本文的目标是通过一个经典的“Hello World”程序（即WordCount词频统计），引导读者完成从环境搭建到程序运行的全流程，并深入理解Spark的核心机制。Spark的核心概念与架构分布式计算的基础逻辑PySpark环境搭建与配置。
Spark Streaming 实现 word count
我玩的很开心的博客
10-23 1693
Spark Streaming 实现 word count一、一个输入源端口对应一个receiver1.1 数据源端口1.2 spark streaming 接收处理数据二、两个输入源端口对应一个receiver2.1 测试源端口 一、一个输入源端口对应一个receiver 1.1 数据源端口 使用网络猫作为数据的输入源端口 下载网络猫： linux命令行执行： yum install -y nc 使用测试端口： 9999 nc -lk 9999 1.2 spark streaming 接收处理数据 这
启动Spark-Shell实现词频统计
qq_53325156的博客
04-19 1822
启动Spark-Shell实现词频统计
【hadoop学习之路】Spark-shell RDD 实现词频统计
onion23的博客
06-11 3562
1. 在本地路径下创建文本文件 /test/words.txt，内容如下： python java cpp c hello world hadoop hdfs python java cpp c hello world hadoop hdfs python java cpp c hello world hadoop hdfs python java cpp c hello world hadoop hdfs python java cpp c hello world hadoop hdfs py
在Spark-Shell中实现单词统计
小楼秋风
07-19 1349
单词文件word.txt，单词以tab分隔 java python hadoop scala mysql hdfs hdfs mapreduce yarn hadoop hadoop scala hive hive sqoop hbase kafka hadoop hbase hadoop hive flume redis redis java python scala sqoop spark spark scala zookeeper flume hadoop hdfs hive # 上传word
spark shell的词频统计，去重，排序及合并 （嚯啊嚯）
qq_43241439的博客
11-29 3278
Spark技术RDD算子spark-shell基础操作wordcount统计去重distinct排序sortByKey合并join RDD算子 RDD有两种类型的操作 ，分别是Transformation（返回一个新的RDD）和Action（返回values）。 1.Transformation：根据已有RDD创建新的RDD数据集build （1）map(func)：对调用map的RDD数据集中的...
Spark：交互式下实现词频统计
博樽
03-12 902
word.txt 文件上传到hdfs、进入Spark-shell 交互式
Spark 实训，RDD案例：词频统计
weixin_56731094的博客
06-23 401
Spark 实训，RDD案例：词频统计
Spark词频统计案例分析：大数据时代文本数据处理的艺术
![大数据技术实践——Spark词频统计]...随后，深入讨论了词频统计的实践操作，涵盖了环境搭建、数据预处理和Spark RDD在词频统计中的应用与优化。此外，本文还探讨了Spark SQL在提高词频统计效率上的优势，以及实时
子雨大数据之Spark入门教程---Spark2.1.0入门：第一个Spark应用程序：WordCount 2.2
飘过的春风
02-23 7603
原博客地址： http://dblab.xmu.edu.cn/blog/1311-2/   前面已经学习了Spark安装，完成了实验环境的搭建，并且学习了Spark运行架构和RDD设计原理，同时，我们还学习了Scala编程的基本语法，有了这些基础知识作为铺垫，现在我们可以没有障碍地开始编写一个简单的Spark应用程序了——词频统计。 任务要求 任务：编写一个Spark应用程序，对某个文件中...
大数据技术实践——Spark词频统计
08-23
本次作业要完成在Hadoop平台搭建完成的基础上，利用Spark组件完成文本词频统计的任务，目标是学习Scala语言，理解Spark编程思想，基于Spark 思想，使用IDEA编写SparkWordCount程序，并能够在spark-shell中执行代码和分析执行过程。
使用spark 对文本分词统计
08-10
NULL 博文链接：https://xiaofancn.iteye.com/blog/2205024
【Spark】Spark-shell案例——单词计数统计
关于我转生变成程序猿这档事
04-07 2326
目录步骤一、准备本地文件以作测试二、通过 --master启动本地模式三、开发scala单词统计代码 步骤 一、准备本地文件以作测试 在第一台机器执行 mkdir -p /export/servers/sparkdatas cd /export/servers/sparkdatas/ vim wordcount.txt hello me hello you hello her 二、通过 --...
Spark入门（2）-Spark-Shell WordCount 单词统计
梦里蓝天
09-01 1244
Spark-shell 是 Spark 给我们提供的交互式命令窗口，类似Linux的shell命令窗口。 启动spark 进入spark安装包，右键选择【在终端中打开】，使用的深度Linux系统。 输入启动命令： ./bin/spark-shell 可以通过IP：端口的形式查看spark web。 制作2个英文单词文件 我们就以spark启动的日志制作2个因为单词文件test1.txt于test2.txt。 Using Spark's default log4j profile: org/apache/
Spark shell 词频统计和统计PV心得
weixin_34212762的博客
04-28 551
所有过程按本人实验并以本人能够接受的方式理解的，大家可以参考，如有问题请留言指正。样本数据[hadoop@h201 ~]$ cat hh.txt hello,worldhello,hadoophello,oraclehadoop,oraclehello,worldhello,hadoophello,oraclehadoop,oracle词频统计，及其按单词数量倒序排序过程及...
Spark编程实战-词频统计
有一分热，发一分光。
05-18 6545
用SPARK API编程（可用SCALA或者JAVA），将三个文本分别加载为RDD（或DataFrame），然后综合统计三个文本中的各个单词数量总和。 文章目录 RDD 例题 spark-shell
使用Spark实现词频统计
梁辰兴的博客
04-26 6244
执行命令：spark-submit --master spark://master:7077 --deploy-mode cluster --class net.army.rdd.WordCount --driver-memory 512m --executor-memory 1g --executor-cores 2 hdfs://master:9000/park/SparkRDDWordCount.jar。hdfs://master:9000/wc/input：单词数据的来源路径。
linux中用spark进行单词数统计--wordCount例子操作详解【scala版】
yulutian的博客
05-13 2350
这是命令行的简单操作案例，借用spark里面的API：flatMap、reduceByKey来实现，步骤如下： 1）启动spark shell： ./spark-shell --master local[2] 注：spark shell 是spark自带的一个快速开发工具，在spark目录下bin目录里面 2）读入需要处理的单词文件 val file = sc.textFile("fil...
Spark词频统计的三种方式
热门推荐
彷徨的博客
09-20 1万+
利用spark-shell来编程 spark-shell  --master  spark://hadoop01:7077 已经初始化好了SparkContext  sc 回顾wordcount的思路： 读数据，切分并压平，组装，分组聚合， 排序 当启动spark-shell启动以后 , 监控页面会监控到spark-shell 当我们使用spark-shell以集群模式读取本地的数据的时...
spark3.2教程
最新发布
03-28
### 关于 Apache Spark 3.2 版本的教程 Apache Spark 是一种分布式计算框架，广泛用于大规模数据处理。对于 Spark 3.2 的教程需求，以下是相关内容： #### 安装与配置 在安装 Spark 3.2 时，需确保环境满足其依赖条件。例如，在创建 SparkSession 实例时，可以通过如下方式初始化会话对象[^1]： ```python from pyspark.sql import SparkSession spark = SparkSession.builder \ .appName('example-spark-app') \ .config("spark.some.config.option", "some-value") \ .getOrCreate() ``` 此代码片段展示了如何构建一个名为 `example-spark-app` 的 Spark 应用程序实例。 #### 性能优化指南 为了提升基于 Spark 和 Kafka 集成的应用性能，建议采用一些最佳实践方法。这些策略不仅适用于早期版本，也延续至 Spark 3.2 中适用[^3]。具体措施包括但不限于调整分区数量、合理设置缓冲区大小以及监控资源分配情况等。 #### 错误排查案例分析 当运行某些复杂作业如涉及 Hive 表操作时可能会遇到兼容性问题。比如启动 Apache Kylin 过程中报错 `java.lang.NoSuchMethodError` 提示找不到特定构造函数，则可能是由于 Hadoop 或其他组件间存在版本冲突所致[^2]。解决办法通常需要确认所使用的库文件是否匹配当前系统的预期版本号。 #### Storm vs Spark Streaming 对比 (Java 示例) 如果考虑替代方案或者对比不同流式架构特性的话，可以参考下面简单的 Topology 构建逻辑作为入门了解Storm的基础[^4]: ```java TopologyBuilder builder = new TopologyBuilder(); builder.setSpout("spout-id", new MyCustomSpout(), 5); builder.setBolt("bolt-id", new WordCountBolt(), 8).shuffleGrouping("spout-id"); Config config = new Config(); config.setNumWorkers(3); StormSubmitter.submitTopology("word-count-topology", config, builder.createTopology()); ``` 以上 Java 代码定义了一个基本的数据管道结构，其中包含了自定义 Spout 和 Bolt 组件交互过程。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值