- 博客(3)
- 收藏
- 关注
RSS订阅原创 IDEA 上使用 Scala开发Spark并操作Hudi报错为：org.apache.spark.sql.adapter.Spark3_1Adapter
该错误由Spark与Hudi版本不兼容或IDEA中的Hudi依赖缺失引起。Hudi 0.10.x支持Spark 3.0.x,而Hudi 0.11.x支持Spark 3.1.x等。首先,检查pom.xml是否正确添加了与Spark版本兼容的Hudi依赖,例如hudi-spark3.1-bundle_2.12。然后,检查服务器上是否存在正确版本的Hudi JAR包,如无,需要从Maven仓库下载并上传至Spark的jars目录。若在服务器运行,确保在spark-submit命令中指定了Hudi的JAR路径。
2024-11-29 18:38:56
1246
原创 本地运行spark报错为Exception in thread “main“ org.apache.spark.SparkException: Job aborted.
这篇文章探讨了使用 Spark 时因日期和时间戳处理引发的错误及解决方案。首先，通过修改 yarn-site.xml 调整 YARN 的内存和 CPU 配置，防止内存不足。接着，在 SparkSession 中添加时间戳处理配置，解决了与日期或时间戳相关的兼容性问题，特别是处理1582年10月15日之前的数据。最后，介绍了两种处理模式：LEGACY模式旨在保持与旧版 Spark 和 Hive 的兼容性，适合交互场景；而CORRECTED模式确保日期的准确性，仅适用于 Spark 3.0 及以上版本。
2024-10-23 11:22:23
1759
原创 IDEA开发Spark报错为Caused by: MetaException(message:Got exception
在本地运行Scala Spark时遇到HDFS权限问题,错误信息显示Spark无法访问HDFS目录"/user/hive/warehouse/ods.db",原因是权限不足。初步想法是使用"hadoop fs -chmod 777 /user"命令提升目录权限,但经测试发现仅设置单个目录是不够的。正确的解决方法是使用"hadoop fs -chmod -R 777 /"命令,递归地将整个HDFS根目录下的所有文件和目录权限都设置为最高权限(读写执行)。
2024-10-17 20:10:18
481
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人