Exception in thread “main“ org.apache.spark.SparkUpgradeException: You may get a different result du

wuzxu

已于 2022-05-12 08:39:07 修改

阅读量3.7k

点赞数 1

分类专栏： BUG 文章标签： spark scala

于 2022-03-22 16:26:45 首次发布

本文链接：https://blog.youkuaiyun.com/qq_43009048/article/details/123664160

版权

BUG 专栏收录该内容

2 篇文章

订阅专栏

这篇博客主要讨论了在使用Spark3.0时遇到的时间解析问题，由于API升级导致无法识别'YYYY-MM-dd'格式。解决方案是通过设置`spark.sql.legacy.timeParserPolicy`为`LEGACY`来恢复旧版行为，例如：`val spark = SparkSession.builder().appName(top-three).master(local[2]).config(spark.sql.legacy.timeParserPolicyLEGACY).getOrCreate()`。这可以帮助开发者解决因版本升级引起的时间处理兼容性问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Exception in thread "main" org.apache.spark.SparkUpgradeException: You may get a different result due to the upgrading of Spark 3.0: Fail to recognize 'YYYY-MM-dd' pattern in the DateTimeFormatter. 1) You can set spark.sql.legacy.timeParserPolicy to LEGACY to restore the behavior before Spark 3.0. 2)

我的问题可能是使用关于时间的API时，没有设置某些参数

将SparkSession 定义成下面的样子即可

val spark = SparkSession
.builder()
.appName("top-three")
.master("local[2]")
.config("spark.sql.legacy.timeParserPolicy", "LEGACY")
.getOrCreate()