Hive中数据的导入与导出的几种方式

本文详细介绍了Hive中的五种数据导入方法,包括load数据、通过查询语句插入数据、查询语句中创建并加载数据、创建表时指定HDFS路径以及使用import命令。同时,文章也阐述了五种数据导出方式,如export导出到HDFS、使用insert导出、hadoop命令导出、hiveshell命令导出以及sqoop导出。此外,还涉及了如何清除管理表中的数据。

一、数据导入(5种方式)

  1. 向表中装载数据(load在HDFS上表现为剪切)
    hive> load data [local] inpath ‘/opt/module/datas/student.txt’ [overwrite] into table student [partition (partcol1=val1,…)];
    (1)load data:表示加载数据
    (2)local:表示从本地加载数据到hive表;否则从HDFS加载数据到hive表
    (3)inpath:表示加载数据的路径
    (4)overwrite:表示覆盖表中已有数据,否则表示追加
    (5)into table:表示加载到哪张表
    (6)student:表示具体的表
    (7)partition:表示上传到指定分区
  2. 通过查询语句向表中插入数据
    create table stu(id int ,name string,……)partitioned by (month string);
    insert into table stu select * from stu2;(这时从表2查询的字段数必须和表1的字段数相同
    insert into【overwrite】 table stu values(id1,name1,……),(id2,name2,……);
    多表多分区插入模式:
    insert overwrite table stu partition(month) select id,name from stu1 where month=‘201709’
    insert overwrite table stu partition(month) select id,name from stu2 where month=‘201709’;
  3. 查询语句中创建表并加载数据(as select)
    create table if not exists stu1 as select * from stu;
  4. 创建表时通过Location指定加载HDFS数据路径
    create external table stu(id int,name string) location ‘/student’;
  5. import数据到指定Hive表中(用import之前要先用export将数据导出,数据导入后,HDFS上的数据仍在)
    import table stu partition(month=‘201709’) from ‘/user/hive/warehouse/export/stu’;

二、数据导出(5种方式)

  1. export 导出到HDFS上(主要用于两个集群之间的hive表迁移,export不仅导出数据,而且导出表结构)
    export table default.stu to ‘/user/hive/warehouse/export/stu’;

  2. insert导出
    将查询结果导出到本地文件:insert overwrite local directory ‘/opt/module/datas/stu.txt’select * from stu;
    将查询结果格式化导出到本地:insert overwrite local directory ‘/opt/module/datas/stu.txt’row format delimited fields terminated by ‘/t’ select * from stu;
    将查询结果格式化导出到HDFS上(没有local):insert overwrite directory ‘/user/hive/warehouse/stu’row format delimited fields terminated by ‘/t’ select * from stu;

  3. hadoop命令导出到本地(下载)
    dfs -get /user/hive/warehouse/stu/000000_0(HDFS文件路径) /opt/module/datas/stu.txt(本地路径);

  4. hive shell 命令导出
    bin/hive -e ‘select * from stu ;’ > /opt/module/datas/stu.txt;

  5. sqoop导出

三、清楚表中数据(管理表)
truncate table 表名;

<think>好的,我现在需要回答用户关于Hive常见数据导入方式的问题。用户之前已经问过Hive的设计特点,现在转向数据导入的具体方法。根据用户提供的引用和之前的回答,我需要整理出Hive中常用的数据导入方法,并确保正确引用提供的资料。 首先,查看用户提供的三个引用: 引用1提到使用LOAD DATA INPATH导入数据到表中,并且提到了从其他表查询数据导入方式。这里需要注意是否有LOCAL关键字,这涉及到是从本地还是HDFS加载数据。同时,引用1还提到了从其他表查询数据导入,即INSERT INTO ... SELECT语句。 引用2讨论了EXPORT命令导出数据到HDFS,虽然主要是导出,但可能涉及到导入时的逆向操作,比如IMPORT命令。不过用户现在的问题是导入,所以可能需要提到EXPORT/IMPORT的组合使用,或者导出到HDFS后再导入到其他表。 引用3讲的是从EXCEL导入数据Hive,需要创建表并指定分隔符,比如使用ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'。这里需要注意文件格式和分隔符的设置,可能涉及到本地文件的上传步骤。 接下来,我需要结合Hive的常见数据导入方式,综合这些引用的内容。常见的导入方式包括: 1. 使用LOAD DATA命令从本地或HDFS加载数据到表中。 2. 使用INSERT INTO ... SELECT从其他表或查询结果导入。 3. 使用外部表直接关联HDFS路径的数据。 4. 使用Hive的IMPORT命令从之前EXPORT的导出数据导入。 5. 从本地文件(如EXCEL转换的文本文件)通过指定分隔符导入。 6. 使用Sqoop或Flume等工具从关系型数据库或日志导入数据。 需要根据引用中的内容调整,比如引用3中的创建表结构并指定分隔符,引用1中的LOAD DATA的不同路径(有无LOCAL),以及引用2中的EXPORT导出到HDFS可能涉及的导入方法。此外,用户之前的回答提到Hive的设计特点,如元数据管理、存储格式等,可能需要在导入方式中关联这些特点,比如存储格式对导入的影响,或分区表的导入优化。 需要注意的细节: - 区分LOCAL和HDFS路径在LOAD DATA中的使用。 - 引用1提到从其他表查询导入,即INSERT OVERWRITE/INTO TABLE ... SELECT。 - 引用3中的分隔符设置对于正确导入文本文件的重要性。 - 使用外部表时,数据不移动,仅元数据管理。 - EXPORT/IMPORT通常用于跨集群迁移数据,可能涉及元数据数据导出。 可能的遗漏点:用户可能想知道各种方法的适用场景、性能差异或最佳实践。比如,直接加载HDFS数据较快,而Sqoop适合从关系数据导入。此外,分区表的数据导入需要指定分区字段,或者动态分区设置。 需要确保回答结构清晰,分点说明,每个方法附上示例,并引用提供的引用内容。同时,可能需要补充一些用户未提到但常见的方法,如使用Hive的ACID事务导入(虽然较少用)或通过Hive Web界面(如Hue)上传数据。不过根据引用,重点应放在用户提供的几种方式上。 最后,生成相关问题,需围绕导入方式的扩展,如性能优化、错误处理、不同方法的比较等。</think>### Hive常见数据导入方式详解 Hive提供多种数据导入方式,适用于不同场景和数据类型。以下为**核心方法**及对应的技术细节和示例: --- #### 一、**直接加载数据文件** 1. **从HDFS加载数据(无`LOCAL`)** - **语法**:`LOAD DATA INPATH 'hdfs_path' [OVERWRITE] INTO TABLE table_name` - **特点**: - 数据文件**从HDFS移动到Hive表目录**,原路径文件会消失[^1]。 - 适合大数据量快速迁移,无需额外存储空间。 - **示例**: ```sql LOAD DATA INPATH '/user/hive/input/sales_data.csv' INTO TABLE sales; ``` 2. **从本地文件系统加载(带`LOCAL`)** - **语法**:`LOAD DATA LOCAL INPATH 'file_path' INTO TABLE table_name` - **特点**: - 数据文件**复制到HDFS的Hive表目录**,本地文件保留[^1]。 - 适合小规模测试或本地文件上传。 - **示例**: ```sql LOAD DATA LOCAL INPATH '/home/user/orders.csv' INTO TABLE orders; ``` --- #### 二、**从查询结果导入(INSERT...SELECT)** 1. **静态插入** - **语法**: ```sql INSERT INTO TABLE target_table SELECT col1, col2 FROM source_table WHERE condition; ``` - **适用场景**: - 表间数据迁移、ETL加工、聚合结果存储[^1]。 - **示例**: ```sql INSERT INTO sales_summary SELECT category, SUM(revenue) FROM sales GROUP BY category; ``` 2. **动态分区插入** - **语法**: ```sql SET hive.exec.dynamic.partition=true; SET hive.exec.dynamic.partition.mode=nonstrict; INSERT INTO TABLE partitioned_sales PARTITION (year, month) SELECT product, revenue, year, month FROM raw_sales; ``` - **特点**:自动根据查询结果创建分区目录,避免手动指定分区值。 --- #### 三、**外部表关联数据位置** 1. **创建外部表指向HDFS路径** - **语法**: ```sql CREATE EXTERNAL TABLE external_table ( col1 STRING, col2 INT ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LOCATION '/hdfs/path/to/data'; ``` - **特点**: - 数据保留在原路径,Hive仅管理元数据,删除表时数据不丢失。 - 适合其他系统(如Spark)共享数据。 --- #### 四、**使用EXPORT/IMPORT迁移数据** 1. **导出数据** ```sql EXPORT TABLE source_table TO '/hdfs/export/path'; ``` - 导出内容包括**数据文件**和**元数据**(_metadata文件)[^2]。 2. **导入数据** ```sql IMPORT TABLE target_table FROM '/hdfs/export/path'; ``` - 适用于跨集群迁移或备份恢复。 --- #### 五、**从结构化文件(如CSV/TSV)导入** 1. **创建表指定分隔符** ```sql CREATE TABLE test ( Name STRING, Age INT, ID STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE; ``` - **关键点**:分隔符需文件一致(如Excel导出的CSV用`,`,TSV用`\t`)[^3]。 --- #### 六、**工具辅助导入** 1. **Sqoop从关系型数据导入** ```bash sqoop import \ --connect jdbc:mysql://db_host/sales_db \ --username user --password pass \ --table transactions \ --hive-import --hive-table hive_transactions; ``` - 支持全量/增量导入,自动生成Hive表结构。 2. **Flume实时日志采集** - 配置Flume Agent将日志数据实时写入HDFS路径,Hive外部表直接读取。 --- ### 方法对比选型建议 | 方法 | 适用场景 | 性能 | 数据保留性 | |---------------------|----------------------------------|------------|----------------| | `LOAD DATA` | 快速加载HDFS/本地文件 | 高 | 原文件可能移动 | | `INSERT...SELECT` | 数据加工表间迁移 | 中 | 保留源表数据 | | 外部表 | 多系统共享数据 | 即时生效 | 数据独立保留 | | Sqoop | 从MySQL/Oracle等导入 | 中高 | 数据数据保留 | --- ### 示例:从Excel导入Hive 1. **Excel转CSV**:将Excel文件另存为`data.csv`(逗号分隔)。 2. **上传到HDFS**: ```bash hdfs dfs -put data.csv /user/hive/excel_data/ ``` 3. **创建Hive表**: ```sql CREATE TABLE excel_import ( Name STRING, Age INT, Department STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE; ``` 4. **加载数据**: ```sql LOAD DATA INPATH '/user/hive/excel_data/data.csv' INTO TABLE excel_import; ``` --- ### 常见问题优化 1. **乱码问题**:确保文件编码为UTF-8,Hive表字段类型匹配。 2. **分区优化**:按日期分区可加速查询,减少全表扫描。 3. **压缩存储**:使用ORC+Zlib压缩,节省存储空间并提升I/O效率。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值