说一说使用Spark SQL查询数据报错该如何解决

更多文章，可关注微信公众号：excelwork

    今天介绍的是在使用Spark SQL查询数据遇到的一些常见报错案例，为什么要说这个呢，因为，有些错误，网上搜索得到答案时间太长了。

如何快速定位问题？

  Exception：不啦不啦的一大堆~，熟悉不！？我们只要看Exception冒号后面说的那一句提示就好了，里面会有什么错了、错在哪了的信息。

会有哪些报错信息？

1/8

报错信息：

java.sql.SQLException: org.apache.spark.sql.AnalysisException: cannot resolve '`a`' given input columns:

关键信息：

cannot resolve '`a`' 

    无法解析a，说明a不存在，这时就去看具体报错位置，列a在SQL里被改了名字，还是压根不存在。

2/8

报错信息：

java.sql.SQLException: org.apache.spark.sql.catalyst.parser.ParseException: mismatched input '1' expecting <EOF>(line 1, pos 9)

关键信息：

mismatched input '1' 

    这种报错问题比较不好找，但问题往往很简单，无非就是书写问题：比如字段名中间不小心插入了空格、符号、数字等。

3/8

报错信息：

java.sql.SQLException: org.apache.spark.sql.AnalysisException: expression 'aa.`qualityscoreentforprofile`' is neither present in the group by, nor is it an aggregate function. Add to group by or wrap in first() (or first_value) if you don't care which value you get.;;

关键信息：

is neither present in the group by, nor is it an aggregate function

    有分组函数，但是承担分组作用的字段select后面和group by后面不一致，比如前面有5个字段，后面只有4个字段分组，或者此处应为字段类型，而你输入了字符串等等。

4/8

报错信息：

java.sql.SQLException: org.apache.spark.sql.AnalysisException: Undefined function: 'cout'. This function is neither a registered temporary function nor a permanent function registered in the database 'default'.; line 1 pos 7

关键信息：

Undefined function: 'cout'. 

    没被声明的函数，此例是count函数没写全，其他情况还有使用自建函数的，但是没调用成功，也会报这个错。

5/8

报错信息：

java.sql.SQLException: org.apache.spark.sql.catalyst.parser.ParseException: 

mismatched input 'from' expecting <EOF>(line 2, pos 0)

关键信息：

mismatched input 'from' 

    与第2个例子很像，还是SQL的基本执行过程中，出现了不往下走的情况，这时可以做的：比如检查SQL语法问题啦，看看SQL语句某句是不是没写完啊。

6/8

 

报错信息：

java.sql.SQLException: org.apache.spark.sql.catalyst.parser.ParseException: 

extraneous input 'dt' expecting <EOF>(line 3, pos 7)

关键信息：

extraneous input

    从报错位置，我们去看“dt”跟什么没有关联，这里可能是很多字段中，有的字段没写逗号，函数group by组合忘记写by诸如此类。

7/8

报错信息：

java.sql.SQLException: org.apache.spark.sql.catalyst.parser.ParseException: 

Literals of type 'DT' are currently not supported.(line 3, pos 9)

关键信息：

Literals of type 'DT' are currently not supported

    “dt”这个类型不支持，需要将结合出现报错位置具体语境去看，是类型确实不支持、敲错了符号、还是在字段名上多把无关字符也敲上了。

8/8

 

报错信息：

java.sql.SQLException: org.apache.spark.sql.AnalysisException: Reference 'dt' is ambiguous, could be: z.dt, a.dt, zz.dt.; line 6 pos 9

关键信息：

Reference 'dt' is ambiguous

    “dt”这个字段引用不明确，a表、b表，c表可能都有这个字段，但是你引用的时候没指定哪张表。