Sqoop导入导出Hive示例

最新推荐文章于 2025-05-27 20:27:05 发布

原创

最新推荐文章于 2025-05-27 20:27:05 发布 · 置顶 · 1.7k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#sqoop #hive #hadoop #导入导出

本文详细介绍了如何使用 Sqoop 将数据从 Oracle 数据库导入到 HDFS，然后加载到 Hive 表中，包括直接导入、带条件导入、增量导入等多种方式，并展示了导出 Hive 数据到 PostgreSQL 的过程。此外，还涵盖了 Sqoop 的 eval 功能和 job 管理，以及在导入导出过程中常见的问题与解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Sqoop是连接传统关系型数据库和Hadoop的桥梁。把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS、HBase 和 Hive) 中；把数据从 Hadoop 系统里抽取并导出到关系型数据库。利用MapReduce，批处理方式进行数据传输。

本篇文章主要是根据Sqoop导入导出到Hive的实际示例，对Sqoop中的import与export进行简要介绍：

========================一、sqoop数据导入import===========================

--先在Hive建表（oracle库有已建好的表TESTDB.TEST_PLANSIGN_CONF）
CREATE TABLE mydatabase.test_plansign_conf(
id decimal(38,6),
plan_sign string,
remark string,
state decimal(38,6),
create_time timestamp,
update_time timestamp
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001'
STORED AS TEXTFILE
LOCATION '/user/hive/mydatabase/test_plansign_conf';

1、导入oracle数据到HDFS中(注：oracl的表名和字段名要大写)

sqoop import \
--connect jdbc:oracle:thin:@192.168.30.1:1521/orcl_test \
--username admin \
--password admin123 \
--table TESTDB.TEST_PLANSIGN_CONF \
--target-dir /user/hive/mydatabase/test_plansign_conf \
--delete-target-dir \
--fields-terminated-by '\0x01' \
--compress \
--compression-codec org.apache.hadoop.io.compress.GzipCodec \
-m 4 \
--split-by id \
;

2、导入oracle数据到HDFS(同时创建hive表，同时load数据到hive中)sqoop import \
--connect jdbc:oracle:thin:@192.168.30.1:1521/orcl_test \
--username admin \