Spark基础学习笔记30：Spark SQL案例分析

已于 2022-05-15 18:26:52 修改
阅读量1.2k 收藏 2
点赞数 3
CC 4.0 BY-SA版权
分类专栏： # Spark基础学习笔记（2） 文章标签： spark Spark SQL
于 2022-05-15 14:03:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/howard2005/article/details/124768927
本讲介绍了如何使用Spark SQL进行词频统计，包括从words.txt数据源开始，创建Maven项目，配置依赖和构建插件，调整源目录，创建日志属性文件，建立词频统计单例对象，并最终运行程序查看词频统计结果。此外，还涉及了Spark SQL在智慧交通数据分析中的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

零、本讲学习目标

  1. 使用Spark SQL实现词频统计
  2. 掌握Spark SQL与Hive整合
  3. 掌握Spark SQL读写MySQL
  4. 完成Spark热点搜索词统计
  5. Spark SQL智慧交通数据分析

一、使用Spark SQL实现词频统计

（一）数据源 - words.txt

在这里插入图片描述

（二）创建Maven项目

  • 创建Maven项目 - SparkSQLWordCount
    在这里插入图片描述

（三）添加依赖和构建插件

  • 在pom.xml文件里添加依赖和构建插件
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Spark基础学习笔记27：Spark SQL数据源 - Hive表
howard2005的专栏
05-12 1215
利用Spark SQL读取和写入Hive表
Spark基础学习笔记29：Spark SQL内置函数
howard2005的专栏
05-13 1289
Spark SQL内置函数、自定义函数、自定义聚合函数、开窗函数
十五、Spark SQL案例分析
zlwm000的博客
06-17 435
创建Maven项目 - SparkSQLWordCount在pom.xml文件里添加依赖和构建插件 4.0.0 #### （四）修改源目录名称 将源目录名由java改成scala ![在这里插入图片描述](https://img-blog.csdnimg.cn/ef8d47f8d78a4c79b6c0fed3ef7ce411.png) 在pom.xml文件里，设置源目录 ![在这里插入图片描述](https://img-blog.csdnimg.cn/181621dbaaad49c6bb6eb86d67c
SparkSQL实战案例
@小刘同学nice
08-24 2167
数据说明 数据集是货品交易数据集 每个订单可能包含多个货品，每个订单可以产生多次交易，不同的货品有不同的单价 加载数据 tbStock： scala> case class tbStock(ordernumber:String,locationid:String,dateid:String) extends Serializable defined class tbStock scala&...
SparkSQL案例
csdnwindnorth的博客
11-20 371
import java.text.SimpleDateFormat import org.apache.log4j.{Level, Logger} import org.apache.spark.sql.SparkSession /** * @Autho: Administrator and wind * @Version: 2019/11/19 & 1.0 * * Spark...
spark-SQL-案例(超级详细)
互联网知识分享
05-15 1139
那map( content =>{...} ) 每次取出来的content是多个单词组成的，所以用索引来定位哪一个单词，而这个定位是外部索引的地位,（内部索引就现相当于定位字母了）、查询Score表中 至少有5名学生选修的 并且以 3 开头的课程 的平均分数，count(1)表示 count(cno)而下面的例子中 每次取出的content,就一个单词，如果在使用索引就相当于定位构成单词的字母是哪一个。以下两句都是错误的，因为子查询返回了3个平均值(3类课程)，导致两个表不能比较，
spark sql案例分析
10-18
航班数据下载 问题提出，分析，如何根据问题一步步写出spark sql
Spark基础学习笔记25：Spark SQL数据源 - Parquet文件
howard2005的专栏
05-11 1469
掌握Parquet文件的读取与写入、如何进行耗时的Schema合并
Spark基础学习笔记26：Spark SQL数据源 - JSON数据集
howard2005的专栏
05-11 869
读取JSON文件，进行关联查询，利用json()方法将数据集转成数据帧
spark—SQL实战案例
weixin_44604159的博客
10-05 3948
对sparkSQL的学习进行案例练习
spark_sql案例分析
m0_52106226的博客
01-20 238
uid,dt guid01,2018-02-28 guid01,2018-03-01 guid01,2018-03-02 guid01,2018-03-05 guid01,2018-03-04 guid01,2018-03-06 guid01,2018-03-07 guid02,2018-03-01 guid02,2018-03-02 guid02,2018-03-03 guid02,2018-03-06 需求计算连续登录三天及以上的用户 select --要把uid,和时间都去重因为有的客户一天会登录好
摸鱼大数据——Spark SQL——Spark SQL的综合案例
最新发布
weixin_65694308的博客
07-08 1114
1- 什么使用使用select()，什么时候使用groupBy()+agg()/select()实现聚合?如果有分组操作，需要使用groupBy()+agg()/select()，推荐使用agg()3- F.col(): 对于在计算过程中临时产生的字段，需要使用F.col()封装成Column对象,然后去使用。需求四: 查询高分电影中(电影平均分大于3)打分次数最多的用户, 并且求出此人所有的打分记录中, 打的平均分是多少。# col():把临时结果作为新列使用 first():取第一个值。
Spark SQL典型案例
X_Serendipity的博客
06-15 1586
【代码】Spark SQL典型案例。
Spark SQL入门案例
点滴记录IT技术进程
05-07 247
利用Spark SQL分析数据的几个入门案例demo。
大数据之spark_spark SQL案例
WuBoooo的博客
10-04 349
连续登录三天的用户案例: 数据 uid,dt guid01,2018-02-28 guid01,2018-03-01 guid01,2018-03-01 guid01,2018-03-05 guid01,2018-03-02 guid01,2018-03-04 guid01,2018-03-06 guid01,2018-03-07 guid02,2018-03-01 guid02,2018-03-03 guid02,2018-03-02 guid02,2018-03-06 SQL代码实现 package c
sparkSQL相关应用案例
fengge18306的博客
05-16 507
1、sparksql操作hivesql （1）pom文件添加相关maven依赖 添加依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.11</artifactId> <version>2.3.3</version> ...
Spark代码案例
qq_71257020的博客
01-24 1318
用户可以根据需求自己封装计算的逻辑，对字段数据进行计算# 导入window类 定义窗口# 1、生成SparkSession对象# 2、获取sparkcontext对象# 3、 读取文件数据转为rdd# 4、查看rdd数据# 5、对每行数据进行切割# 6、rdd转df# 7、定义 表信息df.show()# 自定义函数# x,y 接受传递字段的数据# 每次接受一行数据data = x+y# 注册到spark中使用# 第一个参数 指定注册的函数名。
spark-sql的进阶案例
weixin_33690367的博客
01-05 250
（1）骨灰级案例--UDTF求wordcount 数据格式：每一行都是字符串并且以空格分开。代码实现： object SparkSqlTest { def main(args: Array[String]): Unit = { //屏蔽多余的日志 Logger.getLogger("org.apache.hadoop").setLevel(Level.WAR...
SparkSQL系列-4、数据处理分析
不积跬步无以至千里，不积小流无以成江河
08-15 1453
SparkSQL系列-4、数据处理分析
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值