Hive Insert命令

最新推荐文章于 2025-06-25 11:41:52 发布
最新推荐文章于 2025-06-25 11:41:52 发布
阅读量7.2w 收藏 26
点赞数 7
CC 4.0 BY-SA版权
分类专栏： Hive 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Post_Yuan/article/details/62887619
本文详细介绍了Hive中数据加载的两种主要方式：Load和Insert命令，并深入探讨了不同版本Hive在Insert命令上的支持与改进，包括标准语法、高级语法、动态分区插入及其相关配置。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Hive 加载数据主要有两种方式，一种是用Load直接加载文件，可以是从本地文件系统，也可以是从HDFS文件系统；Load方式不做任何的转换，只是纯粹的文件复制移动，关于Load加载详情，请见我的另一篇文章： http://blog.youkuaiyun.com/post_yuan/article/details/62883565

除了Load加载数据，Hive也支持Insert命令，下面就来详细介绍Hive不同的版本在Insert方面的支持和改进，

标准语法

INSERT OVERWRITE TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement;
INSERT INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement;
INSERT INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)](z, y) select_statement1 FROM from_statement;

高级语法(Multiple Inserts)

FROM from_statement
INSERT OVERWRITE TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1
[INSERT OVERWRITE TABLE tablename2 [PARTITION ...] select_statement2]
[INSERT INTO TABLE tablename2 [PARTITION ...] select_statement2];

高级语法(Dynamic Partition Inserts)

INSERT OVERWRITE TABLE tablename PARTITION (partcol1[=val1], partcol2[=val2] ...) select_statement FROM from_statement;
INSERT INTO TABLE tablename PARTITION (partcol1[=val1], partcol2[=val2] ...) select_statement FROM from_statement;

描述

  • INSERT OVERWRITE会覆盖表或分区中已存在的数据
  • INSERT INTO以追加数据的方式插入到表或分区，原有数据不会删除
  • Insert可以插入表或分区，如果表是分区表，则Insert时需要指定插入到哪个分区
  • 从Hive 1.1.0版本，TABLE关键字是可选的
  • 从Hive 1.2.0版本，INSERT INTO可以指定插入到哪些字段中，如INSERT INTO t(x,y,z)

动态分区插入

当INSERT往分区表插入数据时，我们可以指定分区字段名和值，分区字段的值是可选的，如果指定分区字段值，我们称之为静态分区，否则称之为动态分区。动态分区创建根据插入数据的列决定。在Hive 0.9.0版本以前，动态分区插入默认是关闭的，在Hive 0.9.0版本及更高版本，默认是打开的。关于动态分区插入，有几个相关的配置：

参数默认值注释
hive.exec.dynamic.partitiontrue设置为true表示启用动态分区插入
hive.exec.dynamic.partition.modestrictstrict模式时用户必须至少指定一个静态分区；nonstrict模式时所有分区都可能是动态分区
hive.exec.max.dynamic.partitions.pernode100每个mapper/reducer节点允许创建的最大动态分区数
hive.exec.max.dynamic.partitions1000总共允许创建的最大动态分区数
hive.exec.max.created.files100000一个MR job中允许创建多少个HDFS文件
hive.error.on.empty.partitionfalse当动态分区插入产生空值时是否抛出异常

从查询语句写入到文件系统

Hive支持从查询语句直接写入到文件系统，此处不做详细介绍

INSERT VALUES

Hive 0.14版本开始，支持INSERT…VALUES语法，具体语法如下，

INSERT INTO TABLE tablename [PARTITION (partcol1[=val1], partcol2[=val2] ...)] VALUES values_row [, values_row ...]

values_row:
(value [, value ...])
value可以为null或者任意SQL语法
Hive常用命令
weixin_41812379的博客
11-09 2244
Hive数据类型 1. 基本数据类型 2. 集合数据类型 3. 案例 (1) 假设某表有如下一行，我们用 JSON 格式来表示其数据结构。在 Hive 下访问的格式为： { "name": "songsong", "friends": ["bingbing" , "lili"] , //列表 Array, "children": { //键值 Map, "xiao song": 18 , "xiaoxiao song": 19 } "address": { //结构 Struct, "
Hive的insert操作，导出数据到本地、hdfs
liyonghui123的专栏
10-20 2920
  insert 语法格式为： 1. 基本的插入语法： insert overwrite table tablename [partition(partcol1=val1,partclo2=val2)] select_statement; insert into table tablename [partition(partcol1=val1,partclo2=val2)] sele...
让 Hive 支持行级 insert、update、delete
热门推荐
wzy0623的专栏
05-23 6万+
Hive 具有 ACID 语义事务的使用场景、配置 Hive 支持事务（Hive 2.0）、测试
11.3.2 INSERT插入数据
最新发布
m0_57833768的博客
06-25 801
DML （Data Manipulation Language），即数据操作语言，是用来。数据操作主要是和，主要操作命令有 LOAD和 INSERT等。
Hive的insert操作
在路上的学习者
04-06 4万+
insert 语法格式为： 基本的插入语法： INSERT OVERWRITE TABLE tablename [PARTITON(partcol1=val1,partclo2=val2)]select_statement FROM from_statement insert overwrite table test_insert select * from test_table;
hive-insert
DCHAO的博客
06-08 2565
hive insert时遇到的问题
【hive】- 使用insert into/insert overwrite插入数据到静态分区、动态分区、动静态分区
sodaloveer的博客
11-15 2万+
使用insert into/insert overwrite插入数据到静态分区、动态分区、动静态分区
Hive 基本命令操作1
08-03
以上就是关于Hive基本命令操作的一些核心知识点，包括创建表、查看表结构、数据加载以及查询等。在实际操作中，根据业务需求选择合适的数据模型（如分区表）并正确地管理数据，能够极大地提高数据处理的效率和便利性...
Hadoop之Hive常用命令大全
weixin_52424868的博客
11-09 1843
初学Hive，掌握hive常见命令。
使用Python构造hive insert语句说明
09-16
一种可行的替代方案是将数据写入HDFS，然后通过Hive的`LOAD DATA`命令加载到表中。但这种方法也存在风险，因为它直接操作HDFS，可能导致数据一致性问题。 此外，还可以考虑使用消息队列如Kafka作为中间层，将数据从...
Hive那些事儿之八-大数据踩过的坑——Hive insert
01-07
Hive那些事儿之八-大数据踩过的坑——Hive insert 我在对Hive表数据清洗后，使用了如下SQL将结果集插入到新表中: insert into db_name.table_name_1 ( col_1,col2,col3 ) with temp_table_1 as ( select id,col_2 from db_name.table_name_2 where id = condatition ), temp_table_2 as ( select id,col_3 from db_name.table_name_3 where id = con
【Hive】（二十二）往 Hive 表中插入与导出数据方式load 、insert (3)
2301_82242990的博客
05-10 984
但是要注意的是hive将数据序列化成文件的时候，文件的编码格式和hive里的一致。比如，hive中存储格式为sequencefile，则序列化的数据文件编码也是二进制格式，如果hive中列分隔符是默认的，则序列化文件也是默认的^A（不可视）的分隔符。注意：使用，insert…select 往表中导入数据时，查询的字段个数必须和目标的字段个数相同，不能多，也不能少,否则会报错。使用insert子句将查询结果插入表中，这是开发中往表里导入数据最常用的方式之一，主要用来项目开发中使用，多表关联计算等操作。
07_Hive的基本命令_Insert命令
weixin_33882443的博客
07-10 526
1.将查询结果插入Hive表语法结构: 1.1.基本模式插入: INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement　 1.2.多插入模式: 　　FROM from_statement 　　INSERT...
Hive insert插入数据与with子查询
Allenzyg的博客
10-18 3257
当在hive中同时使用insert into(overwrite) table xx 与with子查询时候，需要将insert放在with as子查询后面（区分：与StarRocks不同，insert放在with as子查询前面）insert into 与 insert overwrite 都可以向hive表中插入数据，但是insert into直接追加到表中数据的尾部，而insert overwrite会重写数据，既先进行删除，再写入。注意： 当使用以下语句建表时，
hive学习之数据插入操作
qq_29983883的博客
05-18 1万+
1、插入于法 insert into 和insert overwrite INSERT INTO TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement; INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...) [IF NOT EXISTS]] s
Hive SQL-DML-insert插入数据
喻师傅的学习笔记
05-08 2085
insert
往hive表中插入与导出数据方式load ,insert ,sqoop 等方式详解
涤生大数据
05-20 1万+
      往hive数据仓库的表中导入数据，可以直接insert ，也可以选择load方式。当然也可以通过第三方工具如sqoop等将数据导入到hive当初。特别注意：hive虽然不会验证用户装载的数据和表的模式是否匹配，但是hive会验证文件的存储格式和hive定义的表结构的存储格式是否一致。比如将文本文件装载到sequencefile表中则报错。 1.往hive表中导入数据    1.lo...
52 Hive的Insert操作
阿甘兄
08-08 1262
将查询结果插入Hive表 语法结构 INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement Multiple inserts: FROM from_statement INSERT OVERWRITE TABLE ...
hive基础命令
05-17
### Hive基础命令列表及用法 #### 创建数据库 用于创建新的数据库。 ```sql CREATE DATABASE database_name; ``` 此命令会创建一个名为 `database_name` 的新数据库[^1]。 #### 使用数据库 切换到指定的数据库。 ```sql USE database_name; ``` #### 查看现有数据库 显示当前可用的所有数据库。 ```sql SHOW DATABASES; ``` #### 删除数据库 删除不再需要的数据库。 ```sql DROP DATABASE database_name; ``` 注意：只有当数据库为空时才能被删除[^2]。 #### 创建表 创建一张新表。 ```sql CREATE TABLE table_name (column1 datatype, column2 datatype); ``` #### 加载数据 将本地文件加载到Hive表中。 ```bash hadoop fs -put /path/to/local/file /path/in/hdfs/ LOAD DATA INPATH '/path/in/hdfs/' INTO TABLE table_name; ``` 或者直接从本地路径加载： ```sql LOAD DATA LOCAL INPATH '/local/path' INTO TABLE table_name; ``` #### 查询数据 查询表中的数据。 ```sql SELECT * FROM table_name; ``` #### 数据排序 使用 `ORDER BY` 对结果集进行全局排序。需要注意的是，这会使整个作业只使用单个 reducer 来完成排序工作。 ```sql SELECT * FROM table_name ORDER BY column_name; ``` 如果希望并行处理多个 reducer 并仅在每个 reducer 输出内部排序，则可以使用 `SORT BY`[^2]: ```sql SELECT * FROM table_name SORT BY column_name; ``` #### 过滤数据 通过条件过滤数据。 ```sql SELECT * FROM table_name WHERE condition; ``` #### 插入数据 向表中插入数据。 ```sql INSERT INTO TABLE table_name SELECT * FROM another_table; ``` #### 修改表结构 添加列至现有的表。 ```sql ALTER TABLE table_name ADD COLUMNS (new_column datatype); ``` #### 删除表 移除不需要的表及其所有数据。 ```sql DROP TABLE table_name; ``` #### 显示表详情 查看特定表的信息。 ```sql DESCRIBE FORMATTED table_name; ``` #### 导出数据 导出表的数据到 HDFS 或者本地磁盘。 ```bash INSERT OVERWRITE DIRECTORY '/output/directory' SELECT * FROM table_name; ``` 对于本地存储： ```bash hive -e "SELECT * FROM table_name;" > /local/output/file.txt ``` #### 启动服务 启动 Hive Metastore 和 HiveServer2 服务以便客户端连接访问。 ```bash hive --service metastore & hive --service hiveserver2 & ``` 可以通过以下方式验证 HiveServer2 是否正常运行[^1]: ```bash netstat -anop | grep 10000 ``` ---
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数据源的港湾

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值