头歌Spark SQL 多数据源操作（Scala）

最新推荐文章于 2025-04-26 15:00:16 发布
原创 最新推荐文章于 2025-04-26 15:00:16 发布 · 1.4k 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #sql #scala

第1关：加载与保存操作

编程要求

打开右侧代码文件窗口，在 Begin 至 End 区域补充代码，完善程序。读取本地文件 file:///data/bigfiles/demo.json，根据年龄字段 age 设置降序，输出结果。

demo.json 文件内容如下所示：

    {"name": "zhangsan", "age": 20, "sex": "m"},
    {"name": "lisi", "age": 21, "sex": "m"},
    {"name": "tiantian", "age": 22, "sex": "f"},
    {"name": "lihua", "age": 23, "sex": "f"},
    {"name": "zhaoliu", "age": 24, "sex": "m"},
    {"name": "liguanqing", "age": 25, "sex": "f"},
    {"name": "zhangqi", "age": 26, "sex": "m"},
    {"name": "zhaoai", "age": 27, "sex": "m"},
    {"name": "wangjiu", "age": 28, "sex": "f"}

开始任务前，注意先启动 Hadoop 与 Hive 环境： start-all.sh、nohup hive --service metastore &

命令行分别输入：

start-all.sh
nohup hive --service metastore &

如果`nohup hive --service metastore &`一直不跳转，直接enter

代码实现：

import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession}

object First_Question {


  def main(args: Array[String]): Unit = {
    
    val spark: SparkSession = SparkSession
      .builder()
      .appName("First_Question")
      .master("local[*]")
      .getOrCreate()


    /******************* Begin *******************/  
    val dataFrame: DataFrame = spark.read.json("/data/bigfiles/demo.json")
    dataFrame.orderBy(dataFrame.col("age").desc).show()

        
    /******************* End *******************/

    spark.stop()

  }
}

第2关：Parquet 格式文件

打开右侧代码文件窗口，在 Begin 至 End 区域补充代码，根据下列要求，完善程序。

    读取本地文件 file:///data/bigfiles/demo.json，使用 Parquet 完成分区，列名为 student=1，保存到本地路径file:///result/下。

    读取本地文件 file:///data/bigfiles/demo2.json，使用 Parquet 完成分区，列名为 student=2，保存到本地路径file:///result/下。

demo.json 文件内容如下所示：

    {"name": "zhangsan", "age": 20, "sex": "m"},
    {"name": "lisi", "age": 21, "sex": "m"},
    {"name": "tiantian", "age": 22, "sex": "f"},
    {"name": "lihua", "age": 23, "sex": "f"},
    {"name": "zhaoliu", "age": 24, "sex": "m"},
    {"name": "liguanqing", "age": 25, "sex": "f"},
    {"name": "zhangqi", "age": 26, "sex": "m"},
    {"name": "zhaoai", "age": 27, "sex": "m"},
    {"name": "wangjiu", "age": 28, "sex": "f"}

demo2.json 文件内容如下所示：

    {"name": "hongkong", "age": 20, "sex": "m"},
    {"name": "kulu", "age": 21, "sex": "m"},
    {"name": "huxiaotian", "age": 22, "sex": "f"},
    {"name": "yueming", "age": 23, "sex": "f"},
    {"name": "wangsan", "age": 24, "sex": "m"},
    {"name": "zhaojiu", "age": 25, "sex": "f"},
    {"name": "wangqiqi", "age": 26, "sex": "m"},
    {"name": "wangxiantian", "age": 27, "sex": "m"},
    {"name": "zhaoba", "age": 28, "sex": "f"}

   

开始任务前，注意先启动 Hadoop 与 Hive 环境：start-all.sh、nohup hive --service metastore &

 命令行分别输入：

start-all.sh
nohup hive --service metastore &

代码实现：

import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession}

object Second_Question {


  def main(args: Array[String]): Unit = {
    
    val spark: SparkSession = SparkSession
      .builder()
      .appName("Second_Question")
      .master("local[*]")
      .getOrCreate()


    /******************* Begin *******************/  
    spark.read.json("file:///data/bigfiles/demo.json").write.parquet("file:///result/student=1")
    spark.read.json("file:///data/bigfiles/demo2.json").write.parquet("file:///result/student=2")





    /******************* End *******************/

    spark.stop()

  }
}

第3关：ORC 格式文件

编程要求

根据下列要求，完善程序。

    创建 Orc 格式的 Hive 数据表 student，添加字段id（int），name（string）,age(int)，class（string）。

    按顺序插入如下数据：

    1001,"王刚",19,"大数据一班"
    1002,"李虹",18,"大数据一班"
    1003,"张子萱",20,"大数据一班"
    1004,"赵云",18,"大数据一班"
    1005,"李晓玲",19,"大数据一班"
    1006,"张惠",18,"大数据二班"
    1007,"秦散",19,"大数据二班"
    1008,"王丽",18,"大数据二班"
    1009,"田忌",20,"大数据二班"
    1010,"张花",18,"大数据二班"

    打开右侧代码文件窗口，在 Begin 至 End 区域补充代码，编写 spark sql 程序，读取创建的 student 表并按字段 id 升序输出。

命令行：

# 启动 Hadoop
start-all.sh
# 启动 Hive 元数据服务
nohup hive --service metastore &
# 进入 Hive
hive
# 创建 ORC 格式的 Hive 数据表
create table student(id int,name string,age int,class string
)stored as orc;

# 插入数据
insert into table student values(1001,"王刚",19,"大数据一班");
insert into table student values(1002,"李虹",18,"大数据一班");
insert into table student values(1003,"张子萱",20,"大数据一班");
insert into table student values(1004,"赵云",18,"大数据一班");
insert into table student values(1005,"李晓玲",19,"大数据一班");
insert into table student values(1006,"张惠",18,"大数据二班");
insert into table student values(1007,"秦散",19,"大数据二班");
insert into table student values(1008,"王丽",18,"大数据二班");
insert into table student values(1009,"田忌",20,"大数据二班");
insert into table student values(1010,"张花",18,"大数据二班");

是在hive插入数据

显示Time taken字样插入完成

代码实现：

import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession}

object Third_Question {


  def main(args: Array[String]): Unit = {
    
    val spark: SparkSession = SparkSession
      .builder()
      .appName("Third_Question")
      .master("local[*]")
      .enableHiveSupport()
      .getOrCreate()


    /******************* Begin *******************/  
 
    spark.sql("select * from student").orderBy("id").show()




    /******************* End *******************/

    spark.stop()

  }
}

第4关：JSON 格式文件

编程要求

打开右侧代码文件窗口，在 Begin 至 End 区域补充代码，完善程序。读取本地文件 file:///data/bigfiles/test.json，不改变原数据排列顺序进行输出。

test.json 文件内容如下所示：

    {"id":1001,"name":"王刚","age":19,"class":"大数据一班"},
    {"id":1002,"name":"李虹","age":18,"class":"大数据一班"},
    {"id":1003,"name":"张子萱","age":20,"class":"大数据一班"},
    {"id":1004,"name":"赵云","age":18,"class":"大数据一班"},
    {"id":1005,"name":"李晓玲","age":19,"class":"大数据一班"},
    {"id":1006,"name":"张惠","age":18,"class":"大数据二班"},
    {"id":1007,"name":"秦散","age":19,"class":"大数据二班"},
    {"id":1008,"name":"王丽","age":18,"class":"大数据二班"},
    {"id":1009,"name":"田忌","age":20,"class":"大数据二班"},
    {"id":1010,"name":"张花","age":18,"class":"大数据二班"}

 命令行分别输入：

start-all.sh
nohup hive --service metastore &

代码实现：

import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession}

object Forth_Question {


  def main(args: Array[String]): Unit = {
    
    val spark: SparkSession = SparkSession
      .builder()
      .appName("Forth_Question")
      .master("local[*]")
      .getOrCreate()


    /******************* Begin *******************/  
    val dataFrame:DataFrame = spark.read.json("file:///data/bigfiles/test.json")
    dataFrame.createOrReplaceTempView("data")
    spark.sql("select id,name,age,class from data").orderBy("id").show()




    /******************* End *******************/

    spark.stop()

  }
}

第5关：JDBC 操作数据库

编程要求

打开右侧代码文件窗口，在 Begin 至 End 区域补充代码，完善程序。读取本地 csv 文件 file:///data/bigfiles/job58_data.csv（有表头），将加载的数据以覆盖的方式保存到本地 Mysql 数据库的 work.job_data 表中，数据库连接信息如下：

    账号：root

    密码：123123

    端口：3306

    注意设置 useSSL=false。

 命令行分别输入：

start-all.sh
nohup hive --service metastore &

代码实现:

import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession}

object Fifth_Question {


  def main(args: Array[String]): Unit = {
    
    val spark: SparkSession = SparkSession
      .builder()
      .appName("Fifth_Question")
      .master("local[*]")
      .getOrCreate()


    /******************* Begin *******************/  
    val dataFrame:DataFrame = spark.read.option("header","true").csv("file:///data/bigfiles/job58_data.csv")
    dataFrame.write.format("jdbc").option("url", "jdbc:mysql://localhost:3306/work?useSSL=false").option("driver", "com.mysql.jdbc.Driver").option("user", "root").option("password", "123123").option("dbtable", "job_data").mode(SaveMode.Overwrite).save()





        
    /******************* End *******************/

    spark.stop()

  }
}

第6关：Hive 表操作

编程要求

打开右侧代码文件窗口，在 Begin 至 End 区域补充代码，根据下列要求，完善程序。

    在 Hive 中创建数据表 employee，添加字段eid（string），ename（string）,age(int)，part（string）。

    插入如下数据：

    "A568952","王晓",25,"财务部"
    "B256412","张天",28,"人事部"
    "C125754","田笑笑",23,"销售部"
    "D265412","赵云",24,"研发部"
    "F256875","李姿姿",26,"后勤部"

    编写 spark sql 程序，直接采用 Spark on Hive 的方式读取创建的 employee 表并按字段 eid 升序输出。

命令行：

# 启动 Hadoop
start-all.sh
# 启动 Hive 元数据服务
nohup hive --service metastore &
# 进入 Hive
hive
# 创建 Hive 数据表
create table employee(eid string,ename string,age int,part string
);
# 插入数据
insert into table employee values("A568952","王晓",25,"财务部");
insert into table employee values("B256412","张天",28,"人事部");
insert into table employee values("C125754","田笑笑",23,"销售部");
insert into table employee values("D265412","赵云",24,"研发部");
insert into table employee values("F256875","李姿姿",26,"后勤部");

显示`Time taken..`插入完成

代码实现：

import org.apache.spark.sql.{DataFrame, SparkSession}

object Sixth_Question {


  def main(args: Array[String]): Unit = {
    

    /******************* Begin *******************/  

    //val spark: SparkSession.builder()
    val spark: SparkSession = SparkSession.builder()
    .appName("Sixth_Question")
    .master("local[*]")
    .enableHiveSupport()
    .getOrCreate()
    val dataFrame : DataFrame = spark.sql("select * from employee order by eid")
    dataFrame.show()
    spark.stop()








    /******************* End *******************/

  }
}

祝大家评测通过:)

Spark系列（21）—— SparkSQL数据的加载与保存
shangjg3的博客
11-15 828
SparkSQL读取和保存的文件一般为三种，JSON文件、CSV文件和列式存储的文件，同时可以通过添加参数，来识别不同的存储和压缩格式。
Spark SQL 多数据源操作（Scala）
Junds0的博客
04-25 2044
文件中会对列加入统计信息: 包括列的 max, min, sum 等, 因此可以在 sql 查询时进行 RBO 中的谓词下推。本关任务：根据编程要求，完善程序，实现 Spark SQL 读取 ORC 格式的 Hive 数据表。本关任务：根据编程要求，编写 Spark 程序读取指定数据源，完成 Parquet 分区任务。本关任务：根据编程要求，读取本地文件，将数据使用 JDBC 方式进行保存。本关任务：根据编程要求，编写 Spark 程序读取指定数据源，完成任务。Spark SQL 保存数据到 Hive。
Spark 数据的加载和保存
weixin_45417821的博客
11-15 1945
文章目录通用的加载和保存方式ParquetJSONCSV 通用的加载和保存方式 SparkSQL 提供了通用的保存数据和数据加载的方式。这里的通用指的是使用相同的API，根据不同的参数读取和保存不同格式的数据，SparkSQL 默认读取和保存的文件格式为 parquet 1）加载数据 spark.read.load 是加载数据的通用方法 scala> spark.read. csv format jdbc json load option options orc parquet schema tab
头歌Python实训——亲和性分析——商品推荐
qq_64377245的博客
07-18 1262
头歌Python实训——亲和性分析——商品推荐
sparkSql数据的加载与保存
宁萧的博客
03-08 899
sparkSQL加载数据 1.read加载数据 scala> spark.read. csv format jdbc json load option options orc parquet schema table text textFile 注意：加载数据的相关参数需写到上述方法中，如：textFile需传入加载数据的路径，jdbc需传入JDBC相关参数。 例如：直接加载Json数据 scala> spark.read.json("/opt
Spark SQL 多数据源操作（Scala）头歌
03-13
### 使用 Scala 实现 Spark SQL 多数据源操作 在 Scala 中实现 Spark SQL 对多个数据源的操作涉及创建 DataFrame 或 Dataset 来表示不同来源的数据，之后可以通过这些结构执行各种转换和动作。以下是具体方法： ##...
Spark SQL 多数据源操作（Scala)头歌
03-13
### 使用 Spark SQL 处理多个数据源的操作 当处理来自不同来源的数据时，Spark 提供了强大的功能来集成并操作这些...以上就是关于在 Scala 中利用 Spark SQL 来实现跨多数据源操作的一个简单介绍以及实践案例说明。
头歌 Spark SQL 多数据源操作
03-13
在Apache Spark SQL环境中处理多个数据源是一项常见需求，允许用户从不同类型的存储系统读取和写入数据。通过Spark SQL可以轻松集成多种数据源，包括但不限于Hive表、JSON文件、Parquet文件以及JDBC连接的传统数据库...
spark-SQL数据加载和保存
2402_88408747的博客
04-16 940
通过 spark.read.load 和 df.write.save 实现数据加载与保存。可利用 format 指定数据格式，如 csv 、 jdbc 等；option 用于设置特定参数，像 jdbc 格式下的数据库连接信息；load 和 save 则分别指定数据路径。保存时还能使用 SaveMode 包含 ErrorIfExists 、 Append 、 Overwrite 、 Ignore 等模式。
批量数据加载与存储实验
04-24
汇编作业】使用寄存器操作从外部存储器地址0x4000 3000处开始依次存放48个字数据（数值为0,1,2,3…47），之后将保存的数据复制至地址0x4000 4000处，自行设计汇编代码并提交实验报告（需包含运行时寄存器与存储器关键截图与汇编代码）。 （仅需提交实验零三的报告，提交实验报告时命名为实验零 嵌入式ADS实验）
SparkSQL-数据的加载和保存(包含数据库)
qq_40607631的博客
09-05 789
适配的文件类型读文件时直接在文件上进行查询: 文件格式.`文件路径`
Spark数据源educoder
qq_48664727的博客
06-07 3340
educoder-Spark数据源答案JAVA代码
Spark SQL：加载和保存数据实战
叶小刀
10-22 520
Spark SQL中可以对各种数据源进行读取和处理：Parquet、Hive、Json、Hbase。相应也有数据的保存和加载的方法。 加载： 首先将数据文件上传到HDFS中：hdfs dfs -put localfile hdfs_file people.json是spark的examples/src/main/resource自带的文件： 启动spark-shell，记得启动之前要启...
头歌实践教学平台 大数据编程 实训答案（二）
qq_63961628的博客
10-08 5435
任务描述本关任务：根据编程要求，创建自定义函数，实现功能。相关知识为了完成本关任务，你需要掌握：自定义函数分类；自定义函数的实现方式；弱类型的 UDAF 与 强类型的 UDAF 区分；实现弱类型的 UDAF 与 强类型的 UDAF。.builder()Spark SQL 多数据源操作（Scala）任务描述本关任务：编写Parquet分区文件，并输出表格内容相关知识为了完成本关任务，你需要掌握：编程方式加载Parquet文件Parquet分区结构合并元数据刷新。
SparkSQL数据源
m0_53510670的博客
06-21 2607
第1关：SparkSQL加载和保存 代码： packagecom.educoder.bigData.sparksql2; importorg.apache.spark.sql.AnalysisException; importorg.apache.spark.sql.SaveMode; importorg.apache.spark.sql.SparkSession; publicclassTest1{ publicstaticvo...
头歌-Spark SQL 多数据源操作（Scala）
最新发布
m0_66693442的博客
04-26 2373
读取本地文件 file:///data/bigfiles/demo2.json，使用 Parquet 完成分区，列名为 student=2，保存到本地路径file:///result/下。读取本地文件 file:///data/bigfiles/demo.json，使用 Parquet 完成分区，列名为 student=1，保存到本地路径file:///result/下。{"id":1005,"name":"李晓玲","age":19,"class":"大数据一班"},
【SparkSQL】数据的加载和保存、项目实战
weixin_43923463的博客
09-09 865
这里的热门商品是从点击量的维度来看的，计算各个区域前三大热门商品，并备注上每个商品在主要城市中的分布比例，超过两个城市用其他显示。地区商品名称点击次数城市备注华北商品A100000北京21.2%，天津13.2%，其他65.6%华北商品P80200北京63.0%，太原10%，其他27.0%华北商品M40000北京63.0%，太原10%，其他27.0%东北商品J92000大连28%，辽宁17.0%，其他 55.0%
Spark SQL数据加载和保存实战
zdy0_2004的专栏
04-21 1299
http://www.cnblogs.com/whyhappy/p/6740928.html 一：前置知识详解：  Spark SQL重要是操作DataFrame，DataFrame本身提供了save和load的操作，  Load：可以创建DataFrame，  Save：把DataFrame中的数据保存到文件或者说与具体的格式来指明我们要读取的文件的类型以及与具体的格
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值