spark 写入 hudi时数据类型报错

最新推荐文章于 2025-02-17 16:34:00 发布
原创 最新推荐文章于 2025-02-17 16:34:00 发布 · 595 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #大数据 #分布式

报错信息如下：

Caused by: org.apache.spark.sql.execution.QueryExecutionException: Parquet column cannot be converted in file hdfs://master:9000/user/hive/warehouse/ods_ds_hudi.db/order_info/19971201/77687054-08d3-4045-9529-1ca38e7de10b-0_0-65-57_20231203155747192.parquet. Column: [final_total_amount], Expected: decimal(16,2), Found: FIXED_LEN_BYTE_ARRAY

解决办法：

将原表中凡是涉及decimal类型的都需要转成字符串类型或者其他hudi可接受的类型

南城守护
关注
数据湖（四）：Hudi与Spark整合
Lansonli（蓝深李）的博客
05-29 2847
默认Spark操作Hudi使用表类型为Copy On Write模式。Hudi与Spark整合时有很多参数配置，可以参照https://hudi.apache.org/docs/configurations.html配置项来查询，此外，整合时有几个需要注意的点，如下: Hudi这里使用的是0.8.0版本，其对应使用的Spark版本是2.4.3+版本 Spark2.4.8使用的Scala版本是2.12版本，虽然2.11也是支持的，建议使用2.12
Hudi HoodieStreamer 报错 DebeziumSource only support SchemaRegistryProvider 解决方法
Laurence的技术博客
05-16 909
在使用 HoodieStreamer / HoodieDeltaStreamer 从 Kafka 摄取 Debezium CDC 消息并自动解析写入到 Hudi 表时，我们可能会遇到这样一个问题：org.apache.hudi.utilities.sources.debezium.DebeziumSource only support org.apache.hudi.utilities.schema.SchemaRegistryProvider 这个问题本身的解决方法很简单，但是这个问题对整个 CDC 数据
Hudi系列7:使用SparkSQL操作Hudi
只是甲的博客
01-13 2212
Spark SQL操作Hudi
Hive表字段类型转换错误解决：Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.
热门推荐
qq_28658621的博客
04-05 2万+
Hive表字段类型转换错误解决——FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Unable to alter table. The following columns have types incompatible with the existing columns in their respective positions :
Hive 与 Parquet文件Schema类型不一致问题
onway_goahead的博客
04-12 4661
问题1： Parquet文件Schema与Hive建表Schema不一致导致spark job报错。 Hive：Double Parquet: Long 具体报错日志日下：没有在参数层面解决，最终将hive字段改为了 bigint --- 1. 不加参数 org.apache.spark.SparkException: Task failed while writing rows. Caused by: com.databricks.sql.io.FileReadException: Error w
针对C++异常的学习
CHYabc123456hh的博客
10-14 213
源码 头文件sdf_exception.h #pragma once #include <exception> #include <string> namespace sdf { namespace common{ using sdf_error_code_t = uint32_t; class SdfException : std::exception{ public: explicit ..
java无法访问Long,apache-spark - 无法使用Spark读取Parquet文件，java.lang.ClassCastException：[B不能转换为java.lang.Long ...
weixin_33398049的博客
03-22 856
我正在尝试使用Spark从S3读取实木复合地板文件。 我尝试使用Hive表或直接从S3读取。 这是堆栈跟踪：org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 83.0 failed 4 times, most recent failure: Lost task 0.3 in st...
29、Spark写数据到Hudi时，同步hive表的一些坑
weixin_42960808的博客
01-13 1962
修改’spark.sql.sources.schema.part.0’时，因为schema带有备注，会很长，导致超过hive表元数据mysql表字段的长度限制。同步hive表是在 数据写入hudi目录后，根据目录里的schema来创建的hive表，所以创建的hive表没有带着dataframe的comment信息。两种方式获取到的schema都是没有comment信息的。再看，org.apache.hudi.hive.ddl.QueryBasedDDLExecutor#createTable方法。
spark结构化流保存mysql_实战|使用Spark结构化流写入Hudi
weixin_35834213的博客
02-09 330
欢迎关注微信公众号：ApacheHudi1. 项目背景传统数仓的组织架构是针对离线数据的OLAP(联机事务分析)需求设计的，常用的导入数据方式为采用sqoop或spark定时作业逐批将业务库数据导入数仓。随着数据分析对实时性要求的不断提高，按小时、甚至分钟级的数据同步越来越普遍。由此展开了基于spark/flink流处理机制的(准)实时同步系统的开发。然而实时同步数仓从一开始就面临如下几个挑战：小...
02 hudi 命令大全
QYmufeng的博客
02-17 376
hudi1.0.1源码编译 2.2. 设置环境变量 2.3. 添加Maven镜像 vim /usr/local/soft/apache-maven-3.9.9/conf/settings.xml 3. 编译hudi 3.1. 下载hudi源码 官网：Download | Apache Hudi修改 hudi-1.0.1
spark3.x 写入hudi报错
W2484980893的博客
12-01 1293
【代码】spark3.x 写入hudi报错。
spark3.x 读取hudi报错
W2484980893的博客
12-01 578
添加这行配置。
HIVE Error: Fixed Binary size 16 does not match field type length 12
m0_64670604的博客
08-10 459
Fixed Binary size 16 does not match field type length 12
Hudi Spark SQL总结
主要分享大数据相关的知识，如Spark、Hudi
05-18 1593
前言 总结Hudi Spark SQL的使用，本人仍然以Hudi0.9.0版本为例，也会稍微提及最新版的一些改动。Hudi 从0.9.0版本开始支持Spark SQL，是由阿里的pengzhiwei同学贡献的，pengzhiwei目前已不负责Hudi,改由同事YannByron负责，现在又有ForwardXu贡献了很多功能特性，目前好像主要由ForwardXu负责。 三位都是大佬，都是Apache Hudi Committer，膜拜大佬，向大佬学习！！！大佬的github: 彭志伟（阿里） pengzhi
parquet存储linux文件,第13章 关于Parquet-列存储模式
weixin_32698563的博客
04-28 688
简介Apache Parquet 是一种能够有效存储嵌套数据的列存储格式。(列式存储格式在文件大小和查询性能上表现优秀) Parquet 的突出贡献在于能够以真正的列式存储格式来保存具有深度嵌套结构的数据。 参考博客-简书数据模型原子类型类型描述boolean二进制值int3232位有符号整数int6464位有符号整数int9696位有符号整数float(32位)IEEE754单精度浮点数doub...
spark报错
a280966503的博客
10-23 1199
1.sparksql 执行创建表的时候报错 org.apache.spark.sql.execution.QueryExecutionException: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:file:/user/hi
数据湖技术Hudi0.10master测试流程
我去探险了
10-27 1428
Hudi0.10master测试流程 本地环境 名称 版本 描述 flink（pre-job） 1.3.2 通过parcel包部署于cdh6.3.2中 cdh 6.3.2 开源版本 hive 2.1.1-cdh6.3.2 包含cdh中（更换jar升级替换） hadoop 3.0.0-cdh6.3.2 cdh原生版本 presto 2.591 开源版本 trino 360 开源版本 hudi 0.10 master分支编译 准备hudi包 github
Zeppelin结合Flink查询hudi数据
从大数据到人工智能的博客
10-10 710
关于Zeppelin Zeppelin是基于 Web 的notebook，是支持使用 SQL、Scala、Python、R 等进行数据驱动的交互式数据分析和协作的Notebook。 Zeppelin支持多种语言后端，Apache Zeppelin 解释器允许将任何语言/数据处理后端插入 Zeppelin。 目前 Apache Zeppelin 支持 Apache Spark、Apache Flink、Python、R、JDBC、Markdown 和 Shell 等多种解释器。 简单来说就是，让你通过Web
Flink CDC 将MySQL的数据写入Hudi实践
dudu146863的博客
09-15 3196
Flink CDC + Hudi实践 一、依赖关系 1、Maven依赖 2、SQL客户端JAR 二、设置MySQL服务器 1、创建MySQL用户： 2、向用户授予所需的权限： 3、最终确定用户的权限： 三、注意 1、MySQL CDC源代码如何工作 2、向MySQL用户授予RELOAD权限 3、全局读取锁（FLUSH TABLES WITH READ LOCK） 4、为每个作业设置一个differnet SERVER ID 5、扫描数据库表期间无法执行检查点 6、设置MySQL会
spark 写入hudi
最新发布
03-14
### 使用 Spark 将数据写入 Hudi 数据湖存储 #### 创建和配置 Hudi 表 为了使用 Spark 向 Hudi 写入数据，首先需要创建一个 Hudi 表。这涉及到指定表路径、键字段和其他必要的参数。这些设置决定了数据如何被索引、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值