hive中重建新表插入报错

最新推荐文章于 2025-02-21 17:32:51 发布
最新推荐文章于 2025-02-21 17:32:51 发布
阅读量1k 收藏
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sjw2020/article/details/107633279
在Hive中，当尝试向已存在的分区插入数据时，可能会遇到因数据文件冲突导致的错误。本文详细解析了这一问题的根源，并提供了解决方案，即使用Hadoop fs命令手动删除HDFS上的旧数据文件。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在hive中，会有这样一种情形：

1、创建一个分区外部表A(比如A表有5个字段)，并且向A表里指定的分区(比如20200728这个分区)里插入数据

2、发现A表缺少一些字段，因为存在元数据不实时更新的问题，不想更新元数据，就进行删表重新建表B(表B与表A除了多了几个字段外，别的都一样)

3、再执行hql脚本，把最新的字段样式的数据插入到20200728这个分区里

会出现如下的报错：

Failed with exception java.io.IOException: rename for src path: hdfs://bdc/are_wek/date=20200728/
.hive-staging_hive_xxxxxx-1/-ext-10000/000000_0 to dest path:hdfs://test/are_wek/date=20200728/000000_0 returned false
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. java.io.IOException: rename for src path: hd
fs://test/are_wek/date=20200728/.hive-staging_hive_xxxxxxx-1/-
ext-10000/000000_0 to dest path:hdfs://test/are_wek/date=20200728/000000_0 returned false

这个错误是指hadoop在把hql执行结果从临时文件挪到对应的表所在的目录时出错；

出现这个问题的原因是：

1、虽然是drop了表，其实只是删除了表的元数据，但是表对应的数据文件依然还在hdfs上；

2、hive在把临时文件挪移到正式目录时，会先对hdfs上的文件做一个判断，如果文件夹不存在那就创建，如果存在那就直接把文件挪移过去，这样就等于把临时文件夹里的000000_0文件挪到正式目录下，这时候正式目录已经有了一个叫000000_0的文件，所以就会报如上的错误

解决办法：

hadoop fs -rm -r /test/are_wek/date=20200728/*

把对应的数据文件删除即可

sjw2020
关注
Spark创建Hive表
SunnyRivers
06-20 2179
实习生带着一脸坚毅的神情，斩钉截铁的告诉我：我：你怎么创建的？实习生：就下面一个简单的sql语句啊id int,""")我：你需要对Spark和Hive的基础知识进行巩固。
hive删除表错误
路漫漫其修远兮
12-23 4362
在配好了hive环境，成功创建了表，并尝试load data local inpath ‘/home/data’ into table test 成功导入本地数据，觉得环境配置已经大功告成之后，问题又悄悄降临…删除表又报错了. Error, return code 1 from org.apache.Hadoop.hive.ql.exec.DDLTask. MetaException 这什么错，
hive向表中插入数据报错：is running 323983872B beyond the ‘VIRTUAL‘ memory limit. Current usage: 232.4 MB of 1
weixin_42581455的博客
12-02 832
大数据基础学习hive工具使用
Hive 插入数据报错FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask.
蒯厅博客
05-13 2387
hive
hive 普通创建表和跟新列操作
weixin_30247307的博客
12-26 201
创建表 CREATE TABLE if not exists student ( student_id int, sex int, address String, email String ) 这里需要注意的是，虽然hiveSL类似sql语言，但是他们有很多需要注意的地方，不能直接使用符号，比如“'”,“;”这些，分号，hdfs认为...
不同集群 hive 表结构 重新创建
mnasd的博客
04-17 452
导出表结构 #/bin/bash #hive -e" #show databases; #">databases.txt #sed -i '1d' databases.txt for database in `cat databases.txt` do echo database-------------- ${database} # hive -e "use ${database};" ...
一个hive插入数据失败的问题
bck1453925668的博客
01-03 1253
在生产业务中一个简单的sql（hive on tez）如下：突然报错如下：很奇怪，报的是HDFS路径长度限制，hdfs的路径确实有255 这个长度限制。重跑了好多次这个错误是必现的。之前从没见过。仔细观察了下 源表 和 目标表的hdfs路径，都很正常。也看了所有字段长度，也都不是很长，最大都没超过100. 这就奇怪了？？？
HIVE--常用操作
Song_LiangYi的博客
07-12 805
基础操作
HIVE数据库insert插入有分区字段的表报错：“Dynamic partition cannot be the parent of a static partition“解决办法
weixin_43136158的博客
02-21 422
inert插入有分区字段表数据的时候，出现了报错：Dynamic partition cannot be the parent of a static partition ‘ccc’，而且这个‘ccc’字段一般是你的insert语句最后一个字段。在系统默认中认为你应该按照建表create时候的partition分区顺序来，前边是静态分区字段，后边是动态分区字段这个顺序，所以没按照默认的顺序来且静态分区没有在动态分区前边，就老报错。当然重建表并不是个好方法，尤其是生产数据不能随便动的时候。
这个是在表中插入数据时出现的报错
最新发布
07-09
若表已存在，可尝试重建表并显式设置`serialization.null.format`[^3]。 #### 4. 验证并修复文件 - **检查文件完整性**： ```bash hdfs fsck /warehouse/tablespace/external/hive/ic_dev15oc_mart.db/ads_oo_po_...
大数据技术基础实验十：Hive实验——新建Hive表
北天的博客
11-05 2570
大数据基础技术实验十，学习掌握有关Hive表的创建查看删除等基础操作。
【无标题】hive外部表删除后,重建,恢复分区数据
qq_45993667的博客
04-09 586
hive
Hive表中通过查询插入数据错误（解决！）
Forever_ck的博客
01-08 2886
1.报错如下： 2.错误原因： 表中字段太多，为了简便使用了 select *，导致查询结果中的列数不匹配。 3.解决办法： 将 select * 改为需要的字段即可。
hive insert数据后，HDFS目录增加-ext-10000目录处理
sunxunyong的博客
10-29 2539
hive insert数据后，hdfs目录增加了-ext-10000目录 经排查发现执行用户非集群管理用户，使用集群管理用户可以正常。 hdfs 查看目录权限为集群管理用户。怀疑权限问题，不想手动修改hdfs权限，开启ranger 权限管控hive，赋权后正常使用。 ...
Hive的三种建表方式
奔赴彼岸
01-13 825
Hive的三种建表方式1.直接建表法：2.抽取(as) 建表：3.like建表 1.直接建表法： create table movies (uid string,iid string,score string , ts string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n' 场景：直接进行 字段类型 ，字段备注，数据存储格式自定义 2.抽取(as) 建表： create table article
hive从hdfs迁移数据load第二次失败
xxl0769的博客
12-23 958
第一次迁移被删后，第二次失败，重新建表就好了 报错信息：数据清理不干净
hive 3.几每次插入增加一个目录base_0000x
jy00885876的专栏
04-20 1900
sqoop导出的时候出现问题 导出的时候会将之前的文件夹里的都导出 一查原来是3.x 创建表默认支持acid 这个基本不需要这个功能 去掉之后 删掉旧表，创建一个新的就ok了 hive.strict.managed.tables=false hive.create.as.insert.only=false metastore.create.as.acid=false ...
Hive(一)
qq_45080791的博客
02-03 985
HiveHive的基本概念什么是HiveHive的优缺点优点缺点Hive的架构原理 Hive的基本概念 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类sql查询功能 本质就是将HQL转化为MapReduce程序 Hive处理的数据存储在HDFS Hive分析数据底层实现是MapReduce 执行程序运行在Yarn上 Hive的优缺点 优点 操作接口采用类SQL语法，提供快速开发的
hive将本地文件上传到文件系统出错
飞鱼
09-21 1675
以前什么都好好的，现在真是问题百出啊。。。真是坑 问题来了。。。。网上说了一大堆hadoop问题,真是各种尝试遍了，不能忍啊。。。 老老实实找到日志文件，再次定位问题 hive日志得查找方法，看 默认是在/tmp/root 错误日志： 2015-09-21 22:08:46,148 INFO  [Thread-7]: hdfs.DFSClient (DFSOutputS
如何在hive表中增删改
06-11
<think>我们正在讨论的是Hive表的数据操作，包括插入、删除和修改。根据之前的对话历史，用户已经了解了如何更改数据类型，现在想知道如何进行插入、删除和修改数据。注意：Hive的传统表（非事务表）并不支持单行级别的更新和删除，但在Hive0.14版本之后，支持ACID的事务表（TransactionalTable）可以进行更新和删除操作。因此，我们需要区分这两种情况。以下将分别介绍：1.插入操作（对所有Hive表都适用，但语法有区别）2.删除操作（主要针对事务表，非事务表通常通过覆盖整个分区或表来实现删除）3.修改（更新）操作（主要针对事务表）另外，非事务表也可以通过覆盖整个分区或表的方式来实现批量删除和修改。###一、插入操作####1.1插入单条记录（不推荐，效率低）对于Hive表，虽然可以使用`INSERTINTO...VALUES`的语法插入单条记录，但这种方式效率很低，通常在交互式查询或测试时使用。```sqlINSERTINTOTABLEtable_name[PARTITION(partcol1[=val1],partcol2[=val2]...)]VALUES(value1,value2,...),(value1,value2,...),...;```示例：```sqlINSERTINTOTABLEemployeeVALUES(1,'John',5000),(2,'Mary',6000);```####1.2插入查询结果（常用）将查询结果插入到表中，可以是全表插入，也可以是分区插入（需要指定分区）。-**覆盖插入**：使用`OVERWRITE`关键字，会覆盖表或分区的原有数据-**追加插入**：使用`INTO`关键字，在原有数据基础上追加```sqlINSERTOVERWRITE|INTOTABLEtable_name[PARTITION(partcol1=val1,partcol2=val2...)]select_statement;```示例1（覆盖整个表）：```sqlINSERTOVERWRITETABLEemployeeSELECT*FROMnew_employee;--将new_employee表中的数据覆盖到employee表```示例2（插入特定分区）：```sqlINSERTINTOTABLEemployeePARTITION(dept='HR')SELECTid,name,salaryFROMnew_employeeWHEREdept='HR';```注意：如果使用`OVERWRITE`插入分区，则仅覆盖该分区的数据。####1.3动态分区插入在插入数据时，根据某个列的值动态地确定分区。需要设置动态分区相关参数。```sql--开启动态分区SEThive.exec.dynamic.partition=true;SEThive.exec.dynamic.partition.mode=nonstrict;INSERTOVERWRITETABLEemployeePARTITION(dept)SELECTid,name,salary,deptFROMnew_employee;```这里，`dept`列的值将用于动态分区。###二、删除操作####2.1对于事务表（TransactionalTables）从Hive0.14开始，支持事务的ACID操作，可以直接删除行。**条件**：-表必须被定义为事务表（在创建表时指定`TBLPROPERTIES('transactional'='true')`）-需要开启事务支持（默认在Hive2.0后，对于事务表是开启的）删除语法：```sqlDELETEFROMtable_name[WHEREexpression];```示例：```sqlDELETEFROMemployeeWHEREsalary<3000;--删除薪水低于3000的员工记录```####2.2对于非事务表通常，Hive非事务表不支持删除单条记录。但可以通过以下方式间接实现：-**覆盖整个表/分区**：通过覆盖的方式排除不需要的记录```sqlINSERTOVERWRITETABLEemployeeSELECT*FROMemployeeWHEREsalary>=3000;--覆盖整个表，只保留薪水不低于3000的记录```-对于分区表，可以覆盖某个分区：```sqlINSERTOVERWRITETABLEemployeePARTITION(dept='HR')SELECT*FROMemployeeWHEREdept='HR'ANDsalary>=3000;--覆盖HR分区，只保留该分区薪水不低于3000的记录```-**直接删除分区**：如果删除的是整个分区的数据，可以使用`ALTERTABLE...DROPPARTITION````sqlALTERTABLEemployeeDROPPARTITION(dept='HR');--删除HR分区```###三、修改（更新）操作####3.1对于事务表更新操作语法：```sqlUPDATEtable_nameSETcolumn=value[,column=value...][WHEREexpression];```示例：```sqlUPDATEemployeeSETsalary=salary*1.1WHEREdept='HR';--将HR部门的员工薪水提高10%```####3.2对于非事务表非事务表不支持单行更新。通常做法是：1.创建一个新表（或临时表）存放修改后的数据2.通过覆盖原有表/分区的方式替换数据示例：为所有HR部门的员工加薪10%```sql--创建临时表存储修改后的数据（包括其他部门的数据）CREATETABLEtmp_employeeASSELECTid,name,CASEWHENdept='HR'THENsalary*1.1ELSEsalaryENDASsalary,deptFROMemployee;--覆盖原表INSERTOVERWRITETABLEemployeeSELECT*FROMtmp_employee;--删除临时表DROPTABLEtmp_employee;```###四、事务表与非事务表的区别1.**事务表创建方式**：```sqlCREATETABLEtransactional_table(idint,namestring)CLUSTEREDBY(id)INTO2BUCKETSSTOREDASORCTBLPROPERTIES("transactional"="true");```注意：事务表必须为分桶表（BucketedTable）且存储格式为ORC。2.**非事务表**：默认创建的表是非事务表。###五、最佳实践1.对于需要频繁更新或删除的场景，建议使用事务表。2.对于大规模数据更新，非事务表使用覆盖分区的方式通常效率更高。3.在删除或更新前，务必先备份关键数据。4.使用事务表时，注意设置合适的事务管理参数（如`hive.txn.manager`等）。###六、常见问题及解决-**问题1**：非事务表执行更新操作时报错？>答：Hive非事务表不支持更新操作，需要按照上述覆盖的方式实现。-**问题2**：事务表执行更新操作时，需要提前设置什么？>答：确保表是事务表（`transactional=true`），并且Hive配置支持事务（如使用`org.apache.hadoop.hive.ql.lockmgr.DbTxnManager`作为事务管理器）。§§相关问题§§1.Hive事务表创建时需要满足哪些条件？2.如何批量删除Hive非事务表的分区数据？3.Hive覆盖插入（INSERTOVERWRITE）是否会删除表的原有元数据结构？4.使用事务表时如何管理事务并发？</think> ### Hive 表数据操作指南 Hive 支持三种核心数据操作：**插入（INSERT）、删除（DELETE）和修改（UPDATE）**。操作方式取决于表类型（事务表/非事务表）和存储格式（如 ORC、Parquet）。以下为详细操作方法和注意事项： --- #### 一、插入数据（INSERT） ##### 1. **追加插入** ```sql INSERT INTO TABLE employees PARTITION (dept='HR') VALUES (101, 'Alice', 5000), (102, 'Bob', 6000); ``` - **适用场景**：为表追加新记录，或插入到指定分区（如 `dept='HR'`）。 - **非事务表**：直接追加数据到文件末尾 [^1]。 - **事务表**：需满足 ACID 规范（ORC 存储 + 分桶表）[^3]。 ##### 2. **覆盖插入** ```sql INSERT OVERWRITE TABLE sales PARTITION (dt='20231001') SELECT product_id, SUM(amount) FROM raw_sales GROUP BY product_id; ``` - **作用**：清空目标表（或分区），再写入新数据 [^1]。 - **非事务表**：会删除原有数据文件，生成新文件。 - **生产建议**：覆盖前备份数据，避免误操作 [^1]。 --- #### 二、删除数据（DELETE） ##### 1. **事务表删除（Hive 0.14+）** ```sql DELETE FROM employees WHERE salary < 3000; -- 删除薪资低于3000的记录 ``` - **条件**：表需为 ORC 存储的分桶事务表（创建时指定 `TBLPROPERTIES('transactional'='true')`）。 - **原理**：通过事务日志标记删除，不立即物理删除数据。 ##### 2. **非事务表删除** 通过分区覆盖实现批量删除： ```sql INSERT OVERWRITE TABLE logs PARTITION (dt='20231001') SELECT * FROM logs WHERE dt='20231001' AND user_id != 'spam_user'; -- 排除无效用户后覆盖写入 ``` 或删除整个分区： ```sql ALTER TABLE logs DROP PARTITION (dt='20231001'); ``` --- #### 三、修改数据（UPDATE） ##### 1. **事务表修改** ```sql UPDATE employees SET salary = salary * 1.1 WHERE dept = 'Engineering'; -- 工程部门加薪10% ``` - **条件**：ORC 存储的事务表，且开启 ACID 支持。 ##### 2. **非事务表修改** 通过临时表覆盖实现： ```sql -- 步骤1: 创建临时表 CREATE TABLE tmp_employees AS SELECT id, name, CASE WHEN dept='HR' THEN salary*1.1 ELSE salary END AS salary FROM employees; -- 步骤2: 覆盖原表 INSERT OVERWRITE TABLE employees SELECT * FROM tmp_employees; ``` --- #### 四、操作限制与最佳实践 | **操作** | **事务表支持** | **非事务表支持** | **关键限制** | |----------------|---------------|-----------------|------------------------------------------| | 单条插入/更新/删除 | ✅ | ❌ | 事务表需 ORC 存储 + 分桶 | | 分区覆盖 | ✅ | ✅ | 分区字段不可修改 | | 复杂数据类型修改 | ❌ | ❌ | 需重建表 [^2] | **最佳实践**： 1. 事务表操作前启用 ACID： ```sql SET hive.support.concurrency=true; SET hive.txn.manager=org.apache.hadoop.hive.ql.lockmgr.DbTxnManager; ``` 2. 避免频繁单行操作：事务表的小事务可能导致性能瓶颈。 3. 非事务表优先使用分区覆盖，而非逐行删除。 --- #### 五、操作验证 检查操作结果： ```sql -- 验证插入/更新 SELECT COUNT(*) FROM employees WHERE dept='HR'; -- 验证删除（事务表） SET hive.cli.print.header=true; SELECT * FROM employees WHERE salary < 3000; -- 应返回空结果 ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值