【大数据Hive】hive 加载数据常用方案使用详解

目录

一、前言

二、load 命令使用

2.1 load 概述

2.1.1 load 语法规则

2.1.2 load语法规则重要参数说明

2.2 load 数据加载操作演示

2.2.1 前置准备

2.2.2 加载本地数据

2.2.3 HDFS加载数据

2.2.4 从HDFS加载数据到分区表中并指定分区

2.3 hive3.0+ load 命令新特性

2.3.1 操作演示

三、insert 命令使用

3.1 语法

3.2 insert + select 操作演示

3.2.1 创建一张源表

3.2.2 加载数据

3.2.3 创建一张目标表

3.2.4 使用insert+select插入数据到新表

3.3 multiple inserts

3.3.1 操作演示

3.4 insert 之动态分区插入

3.4.1 动态分区概述

3.4.2 操作演示

3.5 insert 之导出数据

3.5.1 标准语法

3.5.2 其他写法

3.5.3 导出数据操作演示1

3.5.4 导出数据操作演示2

3.5.5 导出数据操作演示3

四、写在文末

---

一、前言

使用hive对数据表加载数据时方式有很多，比如直接通过insert into插入数据，或者先创建表，然后在hdfs上面上传数据文件进行数据加载的方式等等，本篇将重点介绍如何对hive的table进行数据的导入导出。

二、load 命令使用

在正式开始之前，先来回顾下之前的文章中讲到的一种常用的数据加载方式，即使用load的方式进行数据映射；

总结来说，包括如下几点：

• 在Hive中建表成功之后，就会在HDFS上创建一个与之对应的文件夹，且文件夹名字就是表名；
• 文件夹父路径是由参数hive.metastore.warehouse.dir控制，默认值是/user/hive/warehouse；
• 也可以在建表的时候使用location语句指定任意路径；

默认情况下，当我们创建完成一个table之后，不管路径在哪里，只有把数据文件移动到对应的表文件夹下面