求解SparkSQL使用join连接两个JSON数据时所遇到的问题

最新推荐文章于 2024-07-18 22:59:23 发布

一步难登天mzk

最新推荐文章于 2024-07-18 22:59:23 发布

阅读量1.1k

点赞数

CC 4.0 BY-SA版权

分类专栏： SparkSQL 文章标签：大数据 SparkSQL 小白学习

本文链接：https://blog.youkuaiyun.com/qq_38934395/article/details/88859500

在尝试使用SparkSQL的join操作连接两个JSON数据文件时，遇到了AnalysisException，错误指出无法解析'name'列。问题在于输入列中只有'_corrupt_record'。通过修正代码，将学生基本信息从数据集中改为从外部JSON文件导入，成功解决了问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用join算子将两个数据进行连接时报的错误信息

报错信息如下:

Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve '`name`' given input columns: [_corrupt_record]; line 1 pos 40;
'Project ['name, 'age]
+- 'Filter 'name IN (mzk,root,admin)
+- SubqueryAlias student_info
+- LogicalRDD [_corrupt_record#25]

完整的代码如下:

package com.mzk.sql

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.types.StructType
import org.apache.spark.sql.types.StringType
import org.apache.spark.sql.types.StructField
import org.apache.spark.sql.types.IntegerType
import org.apache.spark.sql.Row

object JSONDataSource {
  def main(args: Array[String]): Unit = {
    //创建SparkSession、SparkContext、sqlContext
    val spark = SparkSession.builder().appName("JSONDataSource").master("local").getOrCreate()
    val sc = spark.sparkContext
    val sql = spark.sqlContext