基于sqoop将hive数据导入到Oracle中

已于 2022-11-18 14:25:28 修改
阅读量3.9k 收藏 26
点赞数 8
CC 4.0 BY-SA版权
分类专栏： Shell Hive 数据导入 文章标签： hive big data hadoop oracle sqoop
于 2022-06-21 10:32:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wang_tang_tale/article/details/125385527

基于sqoop将hive数据导入到Oracle中

根据项目的需要，数据要从hive的app层导出到oracle进行数据结果的加工及展示在相应的系统上。

数据导入流程：

hive的分区表数据–>oracle的实体表中

数据表oracle创建:(字段与hive保持一致）

sqoop中导入可能存在的问题，hive表的存储格式为textfile时，使用export-dir参数时导入的数据会有脏数据的情况，记得要手动处理掉！！

sqoop版本1.4.4Z之后建议选择hcatalog参数进行导入

普通导入：
sqoop export \
--connect jdbc:oracle:thin:@//ip:端口号/实例
--username 用户
--password 密码
--table 表名（Oracle表名：表名大写）
--columns 列名
--export-dir HDFS数据存储路径
--input-fields-terminated-by
最低0.47元/天 解锁文章

200万优质内容无限畅学
sqoop导数据：hive to oracle
weixin_39419040的博客
05-26 1330
利用sqoop 从hive导数据到oracle可以分为两步： —hive导出数据到hdfs insert overwrite directory "/home/hadoop/data/" ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' select {hive表字段} from stg.{hive表名}; ## —hdfs to oracle sqoop export --connect jdbc:
sqoop从Hive同步数据到Oracle
戴着红领巾走世界
05-07 2768
最近工作中需要对Hive工单数据和oracle数据业务数据合起来出报表，所以需要从hive把工单数据同步到oracle中，这就用到了sqoop。 安装sqoop 由于我们是用的Ambari进行HDP的管理安装，所以只要在Ambari控制台中安装即可（当然也可以自己下包在主机上安装），安装完如下图所示： 官网参考文档传送门！ ...
hive 将null值替换为0_Sqoop从Hive导出数据到Oracle
weixin_39770226的博客
11-26 1275
近期临时需要把几个Hive表导出到Oracle中，参考了一些网上的文章，很有帮助，但是并不是很顺利，还是踩了些坑，所以再写多一篇，希望能帮助有需要的朋友更快完成任务。首先要说下，因为没有长期或者大量的这种导出任务，所以我并没有花更多时间去做一些更自动化的脚本，Reference [1] 有个批量脚本，可以参考下。Oracle中建表要把Hive的数据往Oracle导，需要Oracle中存在对应的表，...
Sqoop从Hive导入Oracle
docsz的博客
04-15 1663
1、Sqoop从Hive导入Oracle sqoop export \ --connect "jdbc:oracle:thin:@//IP:1521/orcl" \ --username "root" \ --password "123456" \ --table STG_ZFW_WANGGEXINXI \ --export-dir /user/hive/warehouse/mask_data.db/stg_zfw_wanggexinxi/* \ --columns XM,ZJHM,WANGGE,BUILD
使用sqoop从Hive导数到Oracle
Shyllin的博客
11-11 1096
使用sqoop从Hive导数到Oracle
Sqoop（二）：Hive到Oracle数据迁移实战：基于Sqoop的跨平台数据同步方案
优快云博客专家，领域包括但不限于：AI、大数据、Python、架构师，有合作、课程、问题、疑惑请私信博主
08-31 2183
摘要：本文介绍了使用Sqoop工具将Hive数据导入Oracle数据库的方法。内容包括：1）逐行解释Sqoop export命令的参数含义，如连接配置、表名、字段分隔符等；2）提供一个完整案例，展示如何导出特定Hive表到Oracle；3）给出批量处理脚本，通过读取表名文件自动循环导出多张表。文中重点说明了列名处理、空值转换等关键配置，并提供了参数设置的注意事项和参考链接。该方案适用于需要将大量Hive表数据迁移到Oracle数据库的场景。
oracle导入到hive中,sqoop操作之ORACLE导入到HIVE
weixin_39587010的博客
04-12 1328
导入表的所有字段sqoop import --connect jdbc:oracle:thin:@192.168.1.107:1521:ORCL \--username SCOTT --password tiger \--table EMP \--hive-import --create-hive-table --hive-table emp -m 1;如果报类似的错:ERROR tool.I...
oracle sqoop 导出_Sqoop从Hive导出数据到Oracle
weixin_39658474的博客
12-31 1072
近期临时需要把几个Hive表导出到Oracle中，参考了一些网上的文章，很有帮助，但是并不是很顺利，还是踩了些坑，所以再写多一篇，希望能帮助有需要的朋友更快完成任务。首先要说下，因为没有长期或者大量的这种导出任务，所以我并没有花更多时间去做一些更自动化的脚本，Reference [1] 有个批量脚本，可以参考下。Oracle中建表要把Hive的数据往Oracle导，需要Oracle中存在对应的表，...
sqoop从oracle到hive,sqoop从oracle数据库抽取数据,导入到hive
weixin_32503531的博客
04-10 1415
环境:hadoop-2.7.5sqoop-1.4.7zookeeper-3.4.10hive-2.3.3 (使用mysql配置元数据库)jdk1.8.0_151oracle 11.2.0.3.0经过一番baidu,总算初步成功,现在记录一下中间过程.1.拷贝hive/conf/hive_site.xml到sqoop/conf目录2.配置sqoop-evn.sh,将变量设置为对应的目录.export...
hive使用sqoop与oracle传输数据
cyhysr的博客
04-15 1727
下载地址两个版本sqoop1（1.4.x）和sqoop2（1.99.x），两种不同的架构。本文使用sqoop1。sqoop是apache旗下一款“hadoop与关系数据库之间传送数据”的工具。导入数据：从MySQL、Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等存储系统。导出数据：从Hadoop的HDFS、HIVE中导出数据到关系数据库mysql等。sqoop的工作机制是将导入导出命令翻译成mapreduce程序来实现。
Sqoop导Oracle数据到Hive
12-21
Sqoop导Oracle数据到Hive,代码清晰一目了然
【Sqoop】从hive导出数据到Oracle
依旧的博客
12-24 5657
https://blog.youkuaiyun.com/waterkong/article/details/78708809
利用sqoop将hive数据导入Oracle中
aiyexun0798的博客
03-10 569
利用sqoop将hive中的数据导入到oracle中 1、根据hive表结构，在oracle中创建表 2、Hive导出到Oracle命令： sqoop export --table TABLE_NAME --connect jdbc:oracle:thin:@HOST_IP:DATABASE_NAME --username USERNAME--password PASSWORD...
从Hive导出数据到Oracle数据库--Sqoop
当幸福来敲门的专栏
12-02 3818
首先解释一下各行代码：   sqoop export # 指定要导入到Oracle的那张表（通常与hive中的表同名） --table TABLE_NAME     # host_ip:导入oracle库所在的ip:导入的数据库 --connect jdbc:oracle:thin:@HOST_IP:DATABASE_NAME  # oracle用户账号 --username USERN...
shell脚本sqoop从hive导出到Oracle
zxz306418932的博客
08-02 944
shell脚本 #! /bin/bash # $1:oracle和hive的表名 # 时间 year_month=`date +%Y%m` # 获取hive表的列 col=`hive -e "desc database_name.$1"|awk '{if(!NF || /^#/ || /^l_date/){next} printf $1","}'|sed 's/,$/\n/g'` ...
利用sqoop 将 hive/hdfs数据 导入 Oracle中
热门推荐
树蛙PHPER
08-08 1万+
首先我们要安装好sqoop 笔者我用的是sqoop1 其次我们需要ojdbc6.jar 这个jar 包下载地址如下： http://www.oracle.com/technetwork/database/enterprise-edition/jdbc-112010-090769.html 将解压的包 复制到sqoop安装目录下的lib 目录中 最后执行我们的导入命令即可
oracle sqoop 导出_sqoop导入导出到oracle
weixin_39793189的博客
12-22 403
sqoop import --hive-import --connect jdbc:oracle:thin:@192.168.101.206:1521/ORCL --username ra3mng --password hu3i --table BASE_3_201711 -m 1 --hive-database tbl --hive-database tbl --hive-table INS...
sqoop导入导出hive/oracle
weixin_33916256的博客
03-18 547
版本： sqoop1最新版用户指导：http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.9.3/SqoopUserGuide.html 1.sqoop从关系型数据库oracle导数据到hive，数据存储为parquet格式。 首先，在hive中建表，按月增量存储的建分区表。存储为parquet文件格式而不是默认的textfile是为...
sqoop将hive数据导入oracle
最新发布
09-11
Sqoop是一个开源工具，它主要用于在Hadoop生态系统（如Hive）和传统的数据库系统（如Oracle）之间进行数据迁移。如果你想要使用Sqoop将Hive中的数据导入到Oracle数据库，你需要按照以下步骤操作： 1. **安装和配置 Sqoop**: 首先确保你的环境已经安装了Hadoop、Hive和Oracle的相关组件，并配置好各自的环境变量。 2. **创建Hive表导出命令**: 使用Hive的`DESCRIBE FORMATTED`命令获取Hive表的信息，包括列名、数据类型等，这将用于构建Sqoop的SQL查询。 3. **编写Sqoop导入语句**: 编写一个Sqoop的命令行脚本，例如： ``` sqoop import \ --connect "jdbc:oracle:thin:@<ORACLE_HOST>:<PORT>/<DATABASE>" \ --username <USERNAME> \ --password-file <PASSWORD_FILE> \ --table <HIVE_TABLE_NAME> \ --target-dir <HADOOP_OUTPUT_DIR> \ --hive-import ``` 这里 `<ORACLE_HOST>`、`<PORT>`、`<DATABASE>`、`<USERNAME>` 和 `<PASSWORD_FILE>` 需替换为你实际的Oracle数据库连接信息，`<HIVE_TABLE_NAME>`是要导出的Hive表名，`<HADOOP_OUTPUT_DIR>`是Hadoop文件系统的输出目录。 4. **运行 Sqoop**: 执行上述脚本，Sqoop会把Hive表的数据导出为HDFS的一个目录，然后你可以进一步处理这个目录，比如使用`sqoop export`的`--direct`选项直接将数据导入到Oracle，或者使用`load data`命令。 5. **检查导入结果**: 导入完成后，可以查询Oracle数据库确认数据是否正确导入。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值