hive学习笔记之-使用Sqoop把Oracle表导入Hive

最新推荐文章于 2025-10-08 15:00:00 发布
原创 最新推荐文章于 2025-10-08 15:00:00 发布 · 1.4w 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍如何使用Sqoop从Oracle数据库导入数据到Hive，包括环境搭建、操作步骤及常见问题解决方法。

安装环境：

Hive: hive-0.11.0

Hadoop: Hadoop 1.2.1

Sqoop: sqoop-1.4.4.bin__hadoop-1.0.0

Oralce driver: ojdbc6.jar


软件下载：

Hive: http://apache.dataguru.cn/hive/

Hadoop: http://apache.dataguru.cn/hadoop/

Sqoop: http://apache.dataguru.cn/sqoop/

Ojdbc: http://www.oracle.com/technetwork/database/features/jdbc/index-091264.html

 

操作步骤：

前提确保hadoop已经启动

1. 安装sqoop

--解压

tar zvxf sqoop-1.4.4.bin__hadoop-1.0.0.tar.gz

cp -r sqoop-1.4.4.bin__hadoop-1.0.0/app/hadoop

chown -Rlicz:hadoop /app/hadoop/sqoop-1.4.4.bin__hadoop-1.0.0

 

2. 复制oracle JDBC的驱动放到Sqoop的lib文件夹下

cp ojdbc6.jar/app/hadoop/sqoop-1.4.4.bin__hadoop-1.0.0/lib

 

3. 修改环境变量

[licz@nticket1~]$ vi .bash_profile

export HADOOP_HOME=/app/hadoop/hadoop-1.2.1

export JAVA_HOME=/usr/java/jdk1.6.0_18

export HIVE_HOME=/app/hadoop/hive-0.11.0

export SQOOP_HOME=/app/hadoop/sqoop-1.4.4.bin__hadoop-1.0.0

PATH=$JAVA_HOME/bin:$PATH:$HOME/bin:$HADOOP_HOME/bin:$PIG_HOME/bin:$HIVE_HOME/bin:$SQOOP_HOME/bin

export PATH

 

4. 导入oracle数据

--导入方法

$ sqoop import--hive-import --connect jdbc:oracle:thin:@192.168.56.111:1521:DBNAME --username USERNAME --password PASSWORD --verbose -m 1 --table TABLENAME

 

说明：

DBNAME：数据库实例名

USERNAME：用户名

PASSWORD：密码

TABLENAME：表名

-m：导入数据的进程的并发数，默认是4。如果导入的数据不大的话，不妨设置成1，这样导入更快。一般来说Sqoop会使用主键来平均地分割数据。并发导入的时候可以设置相关的分割列等等，具体的做法参考官方的文档。

官方文档：

http://sqoop.apache.org/docs/1.4.4/index.html

参数说明参考：

http://blog.youkuaiyun.com/lichangzai/article/details/19205957

 

注意:

l        用户名和表名必需是大写的，除非它们在创建的时候是名字是放在引号中的大小写混合的形式。

l        Sqoop会把Oracle中的表自动在hive中中创建，不用手工创建

l        表自动创建在default数据库中，如果想导入到其它库中，可加--hive-table mydb.tbname方式导入。

 

--导入实例

sqoop import--hive-import --connect jdbc:oracle:thin:@172.16.80.115:1521:CUSTOMER2--username WEBMEMBER --password webmem123 --verbose -m 1 --table MEMBERS



5. 增量导入

另外一个问题，如果我们要导入某个表中的新加入的部分，可以使用--check-column、--incremental、--last-value三个参数，--check-column指定要检查的列，--incremental指定某种增加的模式，只有两个合法的值，append 和lastmodified。如果--incremental为append，则Sqoop会导入--check-column指定的列的值大于--last-value所指定的值的记录。如果--incremental为lastmodified，则Sqoop会导入--check-column指定的列的值（这是一个时间戳）近于--last-value所指定的时间戳的记录。

 

例如下面的命令可以导入列ID的值大于4的所有记录。

$ sqoop import--hive-import --connect jdbc:oracle:thin:@192.168.56.111:1521:DBNAME --usernameUSERNAME --password PASSWORD --verbose -m 1 --table TABLENAME --check-column ID--incremental append --last-value 4

 

遇到的问题：

1.导入hive时报错

ERROR tool.ImportTool:Imported Failed: Attempted to generate class with no columns

 

原因和解决办法：

是因导入时表名或用户名没有大写所致

sqoop import --hive-import --connectjdbc:oracle:thin:@172.16.80.115:1521:CUSTOMER2 --username WEBMEMBER --passwordwebmem123 --verbose -m 1 --tablemembers

 

参考文章：

http://blog.youkuaiyun.com/lichangzai/article/details/8542613

http://blog.sina.com.cn/s/blog_3fe961ae01019a4l.html

http://sqoop.apache.org/docs/1.4.4/index.html

http://blog.youkuaiyun.com/lichangzai/article/details/19205957

 

Sqoop学习笔记 --- 使用Sqoop 对 Oracle 做数据迁移 到 PostgreSQL
杨鑫newlife的专栏
07-26 4893
Sqoop学习笔记 --- 使用Sqoop 对 Oracle 做数据迁移 到 PostgreSQL
Sqoop学习笔记 --- sqoop使用时候常见错误
杨鑫newlife的专栏
02-13 1907
Sqoop学习笔记 --- sqoop使用时候常见错误
Sqoop导Oracle数据到Hive
12-21
Sqoop导Oracle数据到Hive,代码清晰一目了然
sqoop导入oracle的数据到hive中
子小的博客
02-20 344
全量导入oracle的数据到hive中 以下为一个举例 sqoop import \ --connect jdbc:oracle:thin:@**10.7.2.70:1521:ddc1** \ --username **dmpuser** \ --password **dmpuser123** \ --query "**SELECT * FROM ddc.DMSVDD005D1 WHERE VBI...
Hive数据交互的桥梁：JDBC/ODBC连接与操作全解析
最新发布
zuiyuelong的博客
10-08 1587
在大数据技术快速发展的今天，Hive作为Hadoop生态系统中的关键组件，承担着数据仓库和SQL查询引擎的重要角色。它通过将结构化的数据文件映射为数据库表，并提供了类SQL的查询语言HiveQL，使得非编程背景的数据分析师也能轻松处理海量数据。然而，Hive本身运行在分布式环境中，如何让外部应用程序高效、安全地访问和操作其中的数据，成为一个亟待解决的问题。这就是JDBC和ODBC登场的背景。简单来说，Hive的设计初衷是提供大数据批处理能力，但它并不直接支持多种编程语言或工具的实时数据交互。
使用Sqoop从Oracle数据库导入数据
日常分享数据分析开发、编程语言内容
01-20 1792
Sqoop是一个用于在Hadoop生态系统（如HDFS和Hive）与关系型数据库之间传输数据的工具。它使数据工程师能够方便地将结构化数据从关系型数据库导入到Hadoop中，以便进行更多的数据分析和处理。Sqoop支持多种关系型数据库，包括Oracle、MySQL、SQL Server等。使用Sqoop从Oracle数据库导入数据是在大数据环境中进行数据分析的关键步骤之一。本文提供了一个详细的指南，包括安装和配置Sqoop、使用Sqoop导入数据的步骤以及一些常见的配置选项。
【大数据开发运维解决方案】Sqoop全量同步mysql/Oracle数据到hive
热门推荐
赵延东的一亩三分地
03-19 17万+
接下来本篇文章详细介绍一下使用sqoop全量同步oracle/mysql数据到hive，这里实验采用oracle数据库为例，后面一篇文章将详细介绍：1、sqoop --incremental append 附加模式增量同步数据到hive2、sqoop --incremental --merge-key合并模式增量同步到hive。
DS调试问题总结
u010739163的博客
12-09 4141
DS调度框架问题 1. java.nio.file.NoSuchFileException: /tmp/dolphinscheduler/exec/process/4/3912/2533/6642/3912_2533_6642_node.sh 权限问题，租户对应的操作/tmp/dolphinscheduler/exec/process/4/3912/2533/6642目录的用户不一致 2. 任务一直在运行 Ambari默认内存是8G，导致少量任务使用完了所有的yarn内存，其他任务...
Sqoop数据采集工具简介、安装、使用学习笔记（配合Hive和Hbase）
03-08
本篇笔记主要围绕 Sqoop 的使用场景、安装步骤以及如何配合 Hive 和 Hbase 使用进行展开。 #### 二、数据传输流程设计 最初的设计方案是通过 Sqoop 将数据从 PostgreSQL 导入到 Kafka，再通过存储程序将 Kafka 的...
大数据新视界 -- 大数据大厂之 Hive 数据导入：多源数据集成的策略与实战（上）（3/ 30）
【青云交】华为云云享专家 | 阿里云开发者社区专家博主 技术圈个人影响力前 17 | 博客之星 TOP23 优快云 首位四榜（原力榜 / 作者周榜 / 领军人物 / 综合热榜）榜首，破平台纪录！ 苏州地区全榜霸榜，感恩全网十多万粉丝同行！
11-22 5574
本文深度探究 Hive 数据导入，详述多种导入方式与数据格式适配，细析多源集成策略（含整合模式、清洗转换），佐以影视娱乐与电商行业实例、丰富代码及深度分析，为多源数据入 Hive 提供详尽指引并设互动环节，同时预告后续篇章。
Sqoop学习笔记
qq_43494013的博客
05-22 232
Sqoop学习笔记
hadoop-16-sqoop导入oracle数据
weixin_34191845的博客
11-10 372
　　sqoop = sql + hadoop 1，系统方面的准备 scp ./ojdbc6.jar root@server-1:/usr/hdp/2.6.0.3-8/sqoop/lib/scp ./ojdbc6.jar root@server-2:/usr/hdp/2.6.0.3-8/sqoop/lib/ cd /usr/hdp/2.6.0.3-8/sqoop/lib/chmod 755 ojdb...
hive使用sqoop与oracle传输数据
cyhysr的博客
04-15 1883
下载地址两个版本sqoop1（1.4.x）和sqoop2（1.99.x），两种不同的架构。本文使用sqoop1。sqoop是apache旗下一款“hadoop与关系数据库之间传送数据”的工具。导入数据：从MySQL、Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等存储系统。导出数据：从Hadoop的HDFS、HIVE中导出数据到关系数据库mysql等。sqoop的工作机制是将导入导出命令翻译成mapreduce程序来实现。
Sqoop报错记录
chaiyiping的专栏
10-31 1307
1，在进行数据导入时，出现如下错误：
基于sqoop将hive数据导入到Oracle中
06-21 4000
根据项目的需要，数据要从hive的app层导出到oracle进行数据结果的加工及展示在相应的系统上。hive的分区表数据–>oracle的实体表中数据表oracle创建:(字段与hive保持一致）sqoop中导入可能存在的问题，hive表的存储格式为textfile时，使用export-dir参数时导入的数据会有脏数据的情况，记得要手动处理掉！！sqoop版本1.4.4Z之后建议选择hcatalog参数进行导入。 ......
Sqoop抽取Hive数据到Oracle
WistWill的博客
05-03 815
使用Sqoop抽取Hive数据到Oracle，报错：Timestamp format must be yyyy-mm-dd hh:mm:ss[.fffffffff] at java.sql.Timestamp.valueOf(Timestamp.java:204) at ...这是一个Sqoop时间戳转化方法的格式差异问题：各系统实现的时间戳转换方法中的截断和位数细节上有所差异。1.4问题日志：当导入Oracle时会出现时间转化失败的问题。
sqoop连接oracle测试,Sqoop连接Oracle导入数据到hive
weixin_39894104的博客
04-11 567
Sqoop连接Oracle导入数据到hive。–导入所有表sqoop import-all-tables –connect jdbc:oracle:thin:@10.3.60.123:1521:xdc –username PDCA –password XXXXX –hive-database DEFAULT -m 1 –create-hive-table –hive-import –hive-ov...
sqoop下连接oracle,sqoop - 连接到oracle并将数据导入IBM BigInsights中的HDFS
weixin_35176891的博客
04-03 293
java.lang.RuntimeException：无法加载db驱动程序类：oracle.jdbc.OracleDriver java.lang.RuntimeException：无法在org.apache.sqoop.manager.OracleManager.makeConnection中加载db驱动程序类：oracle.jdbc.OracleDriver( OracleManager.ja...
sqoop 连接oracle配置,Sqoop安装配置
weixin_28900463的博客
04-10 1475
Sqoop是一个用来将Hadoop(Hive、HBase)和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库(例如：MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。官网地址：http://sqoop.apache.org/1. 下载安装tar -zxvf sqoop-1.4.7.bin__hadoop-...
sqoop 导入oracle表到hive
07-09
### 回答1： Sqoop是一个用于在Hadoop集群和关系型数据库（如Oracle）之间进行数据传输的工具。使用Sqoop可以实现将Oracle表的数据导入到Hive中。 首先，确保Sqoop已经正确安装并配置好了。 1. 查看Oracle连接信息：需要获取Oracle数据库的连接信息，包括数据库的URL，用户名和密码。 2. 创建Hive表：在Hive中创建一个表，用于存储从Oracle导入的数据。可以使用Hive的命令行或者Hive的客户端工具进行创建。 3. 导入数据：使用Sqoop的import命令将Oracle表中的数据导入到Hive中。命令示例： ``` sqoop import --connect jdbc:oracle:thin:@servername:port/servicename --username username --password password --table tablename --hive-import --hive-table hivetable ``` 其中，`jdbc:oracle:thin:@servername:port/servicename`为Oracle数据库的连接URL，`username`和`password`是Oracle数据库的用户名和密码，`tablename`是要导入的Oracle表名，`hivetable`是要导入到Hive中的表名。 4. 等待导入完成：Sqoop会自动将Oracle表中的数据导入到Hive表中。根据数据的大小和网络的速度，导入的时间可能会有所不同。可以通过Sqoop的日志来查看导入的进度和状态。 导入完成后，可以使用Hive命令行或者Hive客户端工具来验证数据是否成功导入到Hive表中。通过查询Hive表，可以查看导入的数据是否准确无误。 通过以上步骤，就可以使用Sqoop将Oracle表的数据导入到Hive中了。这样，就可以在Hadoop集群上使用Hive进行大数据分析和数据处理了。 ### 回答2： Sqoop是一种用于将数据在关系型数据库和Hadoop之间进行传输的工具。它可以用来将Oracle表中的数据导入到Hive中。 在使用Sqoop导入Oracle表到Hive之前，首先需要确保已经安装并配置了Sqoop和Hive。然后，可以使用Sqoop的import命令来执行导入操作。 命令示例： ``` sqoop import \ --connect jdbc:oracle:thin:@//hostname:port/servicename \ --username your_username \ --password your_password \ --table your_table \ --hive-import \ --hive-table your_hive_table \ --hive-overwrite ``` 在这个命令中，需要替换以下参数： - `hostname:port/servicename`：Oracle数据库的主机名、端口号和服务名。 - `your_username`：连接Oracle数据库的用户名。 - `your_password`：连接Oracle数据库的密码。 - `your_table`：要导入的Oracle表名。 - `your_hive_table`：要在Hive中创建的表名。 在执行命令后，Sqoop会连接到Oracle数据库，并将指定的表数据导入到Hive中。`--hive-import`参数用于指示Sqoop将数据导入到Hive中。`--hive-table`参数用于指定在Hive中创建的表名。`--hive-overwrite`参数表示如果同名表已经存在于Hive中，则覆盖该表。 导入完成后，就可以在Hive中查询和分析导入的数据了。 ### 回答3： Sqoop是一款用于数据的批量传输工具，它可以将关系型数据库中的数据导入到Hive中进行分析和处理。下面是使用Sqoop将Oracle表导入Hive的步骤： 1. 首先，确保Sqoop已经正确安装并配置好了与Oracle数据库和Hive的连接。 2. 使用Sqoop命令行工具，通过以下命令来导入数据： ``` sqoop import --connect jdbc:oracle:thin:@<hostname>:<port>/<database> --username <username> --password <password> --table <tablename> --hive-import --hive-table <hivetablename> ``` 其中，`<hostname>`是Oracle数据库的主机名，`<port>`是Oracle数据库的端口号，`<database>`是Oracle数据库的名称，`<username>`是登录Oracle的用户名，`<password>`是登录Oracle的密码，`<tablename>`是要导入的Oracle表的名称，`<hivetablename>`是要导入到Hive中的表的名称。 3. 运行上述命令后，Sqoop会根据指定的连接信息和表信息从Oracle数据库中读取数据，并将数据以Avro文件格式的形式导入HDFS中的临时目录。 4. 然后，Sqoop将数据从临时目录加载到Hive表中，可以通过Hive查询语句对该表进行分析和处理。 需要注意的是，导入过程中可以根据具体需求进行一些参数的调整，如字段映射、分隔符、是否压缩等。 总结来说，通过Sqoop可以简便地将Oracle数据库中的数据导入到Hive中，方便进行后续的数据分析和处理。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值