Error: Error while compiling statement: FAILED: SemanticException Unable to load data to destination

最新推荐文章于 2024-10-23 20:14:44 发布

原创最新推荐文章于 2024-10-23 20:14:44 发布 · 1w 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #hive

博客讲述了在Hive中遇到的数据加载错误，问题源于新建表的存储格式与源数据格式不匹配。通过查看建表语句发现新表使用了ORC存储格式，而源数据是按制表符分隔的文本文件。为了解决这个问题，重新创建表时指定了STORED AS TEXTFILE的存储格式，使得加载成功。

ods层新加了一张表，和以前的格式一样

DROP TABLE IF EXISTS ods_students_industry_level;
CREATE TABLE `ods_students_industry_level` (
  `id` INT COMMENT '编号',
  `first_industry` STRING COMMENT '一级行业',
  `second_industry` STRING COMMENT '二级行业',
  `parent_id` INT COMMENT '父级id'
) COMMENT '行业级别信息表'
PARTITIONED BY (`dt` STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
LOCATION '/hive/warehouse/ods/ods_students_industry_level';

数据从hdfs load到表的时候报错

load语句：

load data inpath '/origin_data/sqoop/db/students_firstindustry/2022-04-12' OVERWRITE into table sqoop. partition(dt='2022-04-12');"

load失败报错：

Error: Error while compiling statement: FAILED: SemanticException Unable to load data to destination table. Error: The file that you are trying to load does not match the file format of the destination table

文件格式不对。

查看建表的格式：

hive> show create table ods_students_industry_level;

查看以前的建的表的格式

可以看出来两张表的存储格式改变了。

hive默认的存储格式是textFile。

对新的表指定存储格式，即在建表的时候加一句 store as textFile

新的建表语句：

DROP TABLE IF EXISTS ods_students_industry_level;
CREATE TABLE `ods_students_industry_level` (
  `id` INT COMMENT '编号',
  `first_industry` STRING COMMENT '一级行业',
  `second_industry` STRING COMMENT '二级行业',
  `parent_id` INT COMMENT '父级id'
) COMMENT '行业级别信息表'
PARTITIONED BY (`dt` STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
STORED AS TEXTFILE
LOCATION '/hive/warehouse/ods/ods_students_industry_level';

这次load成功。