parquet is not a Parquet file (length is too low: 0)

当执行 SparkSQL 遇到这个错误时,可能是因为对应分区的数据全被删除了,变成了空分区,解决办法是删除该分区。

hdfs://warehouse/test.db/t_test/20230511/eaf5f003-5658-4b19-b706-ac487cebad7e-0_3-10-79_20230421093519585.parquet is not a Parquet file (length is too low: 0)

删除指定分区语句:

ALTER TABLE test_db.t_test_rt DROP PARTITION (ds=20230511');
回答: 当出现"is not a Parquet file"的错误时,通常是因为文件的格式不符合Parquet文件的要求。Parquet文件是一种列式存储格式,它具有特定的文件头和尾部的魔数(magic number)。在引用\[1\]和引用\[2\]中提到的错误信息中,都指出了预期的魔数\[80, 65, 82, 49\]与实际找到的魔数不匹配。这可能是由于文件被损坏或者文件格式不正确导致的。 要解决这个问题,可以尝试以下几个步骤: 1. 确保文件的路径和名称正确,检查是否存在拼写错误或者路径错误。 2. 检查文件是否被正确地写入为Parquet格式。可以使用文件浏览器或者命令行工具查看文件的扩展名是否为.parquet。 3. 如果文件是通过数据导入工具或者ETL工具生成的,确保在生成过程中指定了正确的文件格式为Parquet。 4. 如果文件是通过其他方式生成的,可以尝试重新生成文件,并确保生成的文件格式为Parquet。 5. 如果文件仍然无法被正确读取,可能需要进一步检查文件的完整性和正确性,或者尝试使用其他工具或方法来读取文件。 总之,当出现"is not a Parquet file"的错误时,需要检查文件的格式和完整性,确保文件符合Parquet文件的要求。 #### 引用[.reference_title] - *1* [HDFS数据导入Hive表报错](https://blog.youkuaiyun.com/weixin_43230682/article/details/119955357)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [Hive 查询报错:Hive is not a Parquet file](https://blog.youkuaiyun.com/m0_58048130/article/details/129744459)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [spark报错Caused by: java.lang.RuntimeException: java.lang.Long is not a valid external type for ...](https://blog.youkuaiyun.com/qq_43193797/article/details/102607190)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值