Exception in thread “main“ org.apache.spark.sql.AnalysisException: Cannot write incompatible data to

Blank.47

于 2023-11-06 17:13:49 发布

阅读量1.7k

点赞数 3

文章标签： apache spark 大数据

本文链接：https://blog.youkuaiyun.com/qq_64696265/article/details/134250633

版权

文章讲述了在Spark3.0.0中启用的安全策略导致的AnalysisException，即无法将非同类型数据强制转换为timestamp。解决方法是设置`spark.sql.storeAssignmentPolicy`为LEGACY并启用Hive支持。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Exception in thread "main" org.apache.spark.sql.AnalysisException: Cannot write incompatible data to table '`dwd`.`dim_customer_inf`':
- Cannot safely cast 'dwd_insert_time': string to timestamp
- Cannot safely cast 'dwd_modify_time': string to timestamp

这是因为从 Spark 3.0.0 开始，Spark SQL 增加了一个安全策略，不对非同类型的数据进行强制转换，然后就会出现这个错误。

解决方法：

val spark = SparkSession.builder().config(sparkConf)
    .config("spark.sql.storeAssignmentPolicy", "LEGACY")
    .enableHiveSupport().getOrCreate()

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Blank.47

关注关注

3
点赞
踩
1

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Exception in thread “main“ org.apache.spark.sql.AnalysisException: Table or view not found: df； line

优快云精品推荐

09-02

789

编写Spark程序在调用自定义函数时出现如下问题 `Exception in thread "main" org.apache.spark.sql.AnalysisException: Table or view not found: df; line 1 pos 30; 'Project [unresolvedalias('myFunction('Fruit), None)] +- 'UnresolvedRelation [df]`

IDEA+SPARK 本地伪分布式开发日志调测

段智华的博客

05-30

1983

IDEA+SPARK 本地伪分布式开发日志调测：要在windows本地IDEA环境中伪分布式开发spark程序，观察spark框架运行的日志。开发代码： object SparkShell { def main(args: Array[String]): Unit = { Logger.getLogger("org").setLevel(Lev...

2 条评论您还未登录，请先登录后发表或查看评论

Exception in thread “main“ org.apache.spark.sql.AnalysisException: Cannot up cast `age` from bigint

qq_53810226的博客

03-23

4818

这个是报错信息 Exception in thread "main" org.apache.spark.sql.AnalysisException: Cannot up cast `age` from bigint to int. The type path of the target object is: - field (class: "scala.Int", name: "age") Exception in thread "main" org.apache.spark.sql.AnalysisE

spark sql中Exception in thread “main“ org.apache.spark.sql.AnalysisException问题

热门推荐

weixin_43100196的博客

11-18

1万+

在spark中遇到Exception in thread “main” org.apache.spark.sql.，这往往是所选取 'pibid'字段不存在，或者名字写错了。所以要查该字段！！！ Exception in thread “main” org.apache.spark.sql.AnalysisException: cannot resolve ‘pibid’ given input columns: [spark_catalog.lg_edu_warehouse.dwd_t_baseexamh

Exception in thread “main“ org.apache.spark.sql.AnalysisException: Column “change_machine_id“ not fo

JIE的博客 --- moon_coder

11-14

867

如果这个问题出现在，你使用 Spark 将数据插入 MySQL 时，请检查你的字段名称是否与 MySQL 中目标表的字段名称是否一致，尝试使用。出现这个问题有可能是你写的字段错了，认值检查一下。

spark出现Exception in thread "main" org.apache.spark.SparkException: Master must either be yarn or start with spark, mesos, k8s, or local

07-27

- *1* *2* [Exception in thread “main“ org.apache.spark.sql.AnalysisException: Cannot write incompatible data to](https://blog.csdn.net/weixin_46389691/article/details/127869342)[target="_blank" data...

[Spark版本更新]--Spark-2.0.1版本的最新改动

欢迎来到我的博客，一起探索代码里的世界！

11-12

6730

CentOS7伪分布式下 hive安装过程中遇到的问题及解决办法

BIT_SKY的博客

10-24

8371

hive 安装容易出现的错误及其解决办法

hive 2.1.1 安装记录

let it go的博客

09-15

1601

1.安装环境： CentOS Linux release 7.1.1503 (Core) 2.需要包： mysql 驱动: https://dev.mysql.com/downloads/file/?id=472651 mysql-connector-java-5.1.44.zip hive包:https://mirrors.tu

Exception in thread “main“ org.apache.spark.sql.AnalysisException: Cannot overwrite table dwd.dim_us

W2484980893的博客

09-27

223

***记录我的报错***

SparkSession 访问 Hive 表数据报错：org.apache.spark.sql.AnalysisException: Table or view not found

weixin_37417954的博客

07-04

3779

错误场景当通过 SparkSession 访问 hive 中的表数据时，报错如下： Exception in thread "main" org.apache.spark.sql.AnalysisException: Table or view not found: emp; line 1 pos 47 at org.apache.spark.sql.catalyst.analys...

Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot re

qq_38390993的博客

05-07

9870

SparkSQL使用MySQL中的数据进行写操作时出现的错误：无法解析 org.apache.spark.sql.AnalysisException

最新发布

CqcVue的博客

10-16

1361

在使用SparkSQL时，当尝试使用MySQL中的数据进行写操作时，可能会遇到 org.apache.spark.sql.AnalysisException 无法解析的错误。在使用SparkSQL连接MySQL之前，首先确保已正确配置数据库连接参数，包括主机名、端口、用户名和密码等。当写入数据时，SparkSQL会根据表的定义和给定的数据进行类型匹配。请仔细检查在写操作中使用的表名和列名的拼写是否正确。请根据实际情况修改上述代码中的连接参数、数据路径、表名等信息，并确保已正确配置MySQL数据库。

运行Spark SQL报错

qq_40822132的博客

11-02

3558

运行Spark SQL报错

Exception in thread “main“ org.apache.spark.sql.AnalysisException: Table or view not found: student；

weixin_45967421的博客

11-05

1557

sqark sql 在创建视图的时候会出错是因为使用的临时视图要改成局部的

Exception in thread “main“ org.apache.spark.sql.AnalysisException: Table or view not found: user； li

weixin_43797368的博客

10-28

1741

出现次错误的原因是创建了全局 view，改成局部 view，去掉 Global

(已解决)spark-submit报错Exception in thread “main“ java.sql.SQLException: No suitable driver found

weixin_54218079的博客

11-07

1463

解决linux 下执行spark-submit报错Exception in thread "main" java.sql.SQLException: No suitable driver found for jdbc:mysql

Exception in thread "main" org.apache.spark.sql.AnalysisException: Resolved attribute(s)

gucapg的专栏

05-29

7731

因业务特殊，对同一个df进行两次join会报以下错： Exception in thread "main" org.apache.spark.sql.AnalysisException: Resolved attribute(s) goods_name#1139 missing from order_id#498,goods_name#476 in operator !TypedFilter &l...