spark上的一些任务

joshuwang0810

于 2019-07-04 15:18:06 发布

阅读量225

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/SARACH_WONG/article/details/94601650

本文介绍如何使用Apache Spark进行JSON文件和Hive表数据的读取及Join操作。首先，将JSON文件转换为DataFrame，然后从Hive表中读取数据，并通过ID字段进行连接。此过程涉及SparkSession的创建、数据读取和SQL查询。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

需要将json文件和hive文件中的内容进行join操作

json文件如下,里面是字典格式

{“12334” : [“需要”,“测试”], “1445” : [“需要2”,“测试2”], }

将上述json文件转为 [ {id:“12334” ,‘name’ [“需要”,“测试”]} ,{}]，之后进行如下操作

import org.apache.spark.sql.SparkSession
val spark=SparkSession.builder().getOrCreate()

// 加载json中的数据
import spark.implicits._
val df = spark.read.json("file:///usr/local/spark/examples/src/main/resources/people.json")
df.show()

// 加载hive表中的数据
hiveSql = "SELECT XXXXX"
val hiveDF = HiveSQLUtil.runSQL(sparkSession, hiveSql)

// join操作
val joinRst = jsonDF.join(hiveDF,jsonDF( "id") === hiveDF("id" ))