sqoop从hdfs导数据至oracle数据库

最新推荐文章于 2022-06-21 10:32:39 发布
转载 最新推荐文章于 2022-06-21 10:32:39 发布 · 288 阅读 · 0
文章标签：

#数据库 #大数据

本文介绍如何在CentOS 5.7环境下使用CDH 4.3的SQOOP工具导出Oracle数据库中的数据到Hadoop集群。具体步骤包括将ojdbc.jar文件放置到指定目录，并通过sqoop export命令进行数据导出。
环境: CentOS 5.7, CDH 4.3

1. 首先将ojdbc.jar文件拷贝到/u01/cloudera/parcels/CDH/lib/sqoop/lib目录下

2. 启动命令：

sqoop export --connect jdbc:oracle:thin:@xxx:1521:biprod --username sqoop_user --password sqoop_user --table OS_ZHIXIN_CHG --export-dir /tmp/zhixin_chg/20140911/20140911charge.zhixin2.log

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/16582684/viewspace-1269929/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/16582684/viewspace-1269929/

csdn666666666
关注
Sqoop与HDFS集成
AI天才研究院
06-13 1226
Sqoop与HDFS集成 1. 背景介绍 1.1 大数据时代的数据集成需求 在当今大数据时代,企业面临着海量数据的采集、存储和分析的挑战。传统的数据库系统已经无法满足快速增长的数据量和多样化的数据类型的需求。因此,大数据技术应运而生,其中
oracle sqoop 导出_Sqoop从Hive导出数据到Oracle
weixin_39658474的博客
12-31 1144
近期临时需要把几个Hive表导出到Oracle中，参考了一些网上的文章，很有帮助，但是并不是很顺利，还是踩了些坑，所以再写多一篇，希望能帮助有需要的朋友更快完成任务。首先要说下，因为没有长期或者大量的这种导出任务，所以我并没有花更多时间去做一些更自动化的脚本，Reference [1] 有个批量脚本，可以参考下。Oracle中建表要把Hive的数据往Oracle导，需要Oracle中存在对应的表，...
从HDFS中用mapreduce读取文件到Oracle数据库中BUG
qq_28358461的博客
04-22 311
java.lang.Exception: java.io.IOException: ORA-00911: 无效字符 经过调试，发现对oracle的支持在生成查询语句的语法时有个小的问题，语法不正确。 需要修改DBOutputFormat中的constructQuery方法 query.append(");");//去掉其中的; ==>query.append(")"); ...
Sqoop 从hdfs中把数据导出到oracle
zhushulikm的专栏
03-14 3272
Sqoop 从hdfs中把数据导出到oracle
基于sqoop将hive数据导入到Oracle中
06-21 3991
根据项目的需要，数据要从hive的app层导出到oracle进行数据结果的加工及展示在相应的系统上。hive的分区表数据–>oracle的实体表中数据表oracle创建:(字段与hive保持一致）sqoop中导入可能存在的问题，hive表的存储格式为textfile时，使用export-dir参数时导入的数据会有脏数据的情况，记得要手动处理掉！！sqoop版本1.4.4Z之后建议选择hcatalog参数进行导入。 ......
Sqoop从Hive导入Oracle
docsz的博客
04-15 1685
1、Sqoop从Hive导入Oracle sqoop export \ --connect "jdbc:oracle:thin:@//IP:1521/orcl" \ --username "root" \ --password "123456" \ --table STG_ZFW_WANGGEXINXI \ --export-dir /user/hive/warehouse/mask_data.db/stg_zfw_wanggexinxi/* \ --columns XM,ZJHM,WANGGE,BUILD
CDH中Sqoop的使用心得
Rio.的博客
05-08 4364
Sqoop服务添加 Sqoop版本选择 CDH自带两个版本sqoop组件 这里选择1.4.6版本也就是sqoop1，1.99.5版本是sqoop2，是半成品，不支持关系型DB到Hive跟Hbase，故不推荐使用 Sqoop导入mySql数据到Hive操作 1、测试MySQL连接 sqoop list-databases --connect jdbc:mysql://192.168.20.160...
Hadoop-Sqoop-Oracle:使用Sqoop在Oracle数据库和HDFS之间进行导入和导出
04-07
使用Sqoop在Oracle数据库和HDFS之间进行导入和导出 内容 使用 操作系统-Ubuntu 20.04.1 LTS（VMware） 后端-Java （JDK 1.8）， Sqoop（v1.4.7） ， Hadoop（v3.3.0） 库-OJDBC（v7），commons-lang-2.6.jar ...
sqoop从oracle到hive,sqoop从oracle数据库抽取数据,导入到hive
weixin_32503531的博客
04-10 1450
环境:hadoop-2.7.5sqoop-1.4.7zookeeper-3.4.10hive-2.3.3 (使用mysql配置元数据库)jdk1.8.0_151oracle 11.2.0.3.0经过一番baidu,总算初步成功,现在记录一下中间过程.1.拷贝hive/conf/hive_site.xml到sqoop/conf目录2.配置sqoop-evn.sh,将变量设置为对应的目录.export...
sqoop操作之HDFS导出到ORACLE
weixin_33943836的博客
08-06 326
注意：在导出前需要先创建待导出的表结构。如果导出的表在数据库中不存在则会报错；如果重复导出多次，表中的数据会重复； create table EMP_DEMO as select * from EMP where 1=2; create table SALGRADE_DEMO as select * from SALGRADE where 1=2;   导出表的所有字段 sq...
使用sqoop2实现hdfs与Oracle数据相互导入
cakecc2008的专栏
10-14 8467
上一篇已经完成了sqoop2的安装，本篇文章介绍sqoop2将数据从Oracle导入hdfs已经从hdfs导入Oracle 1、连接sqoop2服务 sqoop2是c/s模式，之前安装并启动的是sqoop的服务端，如果想要使用和操作sqoop2，需要通过客户端连接到服务端，然后使用。只要保证服务端正常处于运行状态，客户端可以从任意终端发起。也就是说，客户端可以是一台只解压了sqoop2安装包的
利用sqoop 将 hive/hdfs数据 导入 Oracle中
树蛙PHPER
08-08 1万+
首先我们要安装好sqoop 笔者我用的是sqoop1 其次我们需要ojdbc6.jar 这个jar 包下载地址如下： http://www.oracle.com/technetwork/database/enterprise-edition/jdbc-112010-090769.html 将解压的包 复制到sqoop安装目录下的lib 目录中 最后执行我们的导入命令即可
利用Sqoop把Oracle数据迁移到HDFS、Hive
热门推荐
u010185220的专栏
01-17 2万+
提示：以下操作是在Xshell终端进行的，导入数据后若在Xshell终端上查看导入的数据，数据中的中文会出现乱码。要在Linux系统（最好是在可视化的Linux系统端）中去查看数据不会出现乱码。本人刚开始一直都是在Xshell上进行数据的导入、查看测试，花了一天时间解决“乱码”情况都没解决，最后才知是Xshell终端的问题，这里提示一下。一、利用Sqoop，从Oracle到HDFS第一步：把Ora
基于OGG的Oracle与Hadoop集群准实时同步介绍
qian_xiaoqian的博客
11-16 5692
版权声明：本文由王亮原创文章，转载请注明出处:  文章原文链接：https://www.qcloud.com/community/article/220 来源：腾云阁 https://www.qcloud.com/community Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段。近期有场景需要做Oracle到Hadoop体系的实时导入，
hdfs数据导出到oracle,sqoop操作之HDFS导出到ORACLE
weixin_39782433的博客
04-06 346
注意：在导出前需要先创建待导出的表结构。如果导出的表在数据库中不存在则会报错；如果重复导出多次，表中的数据会重复；create table EMP_DEMO as select * from EMP where 1=2;create table SALGRADE_DEMO as select * from SALGRADE where 1=2;导出表的所有字段sqoop export --conn...
使用sqoop做桥梁实现oracle和hdfs之前数据互导（问题和心得）
q12344567789的博客
04-21 239
首先：版本号 sqoop1.99.6 （也就是sqoop2） hadoop2.6.0 。。。。 之前说过了hadoop的安装和配置。在这就不多说了。 sqoop的安装和配置我也是照的文档一步步来的。。。。下面是几张比较有用飞机票： sqoop2安装 sqoop2安装（较详细） 基本差不多；；； 下面啰嗦一下我遇到的一些问题（俗话说得好：有问题看日志。日志路径：${...
sqoop2将Oracle数据导入HDFS
大数据同盟会的博客
10-30 3929
Sqoop 是一个设计用于在 Apache Hadoop 和结构化数据存储（如关系数据库）之间高效地传输大批量数据的工具。Cloudera Manager 支持的版本为 Sqoop 2。 一、添加sqoop2到CDH 因为我使用的的CDH搭建hadoop集群，所以可以通过cloudera manager添加上sqoop2. 二、把Oracle驱动拷贝到Sqoop安装路径中的lib文件夹下 我的O...
sqoop操作之HIVE导出到ORACLE
天青色等烟雨 而我在等你
03-22 5437
示例数据准备hive中创建dept表create table dept(     deptno int,     dname string,     loc string ) row format delimited fields terminated by '\t' lines terminated by '\n' stored as textfile;导入数据：sqoop import --...
使用sqoop在HDFS与MySQL间迁移数据
"sqoop基础命令涉及将数据在HDFS与MySQL、Oracle数据库间进行迁移的流程，包括安装配置Sqoop、设置环境变量、连接MySQL数据库以及执行导入导出操作。" 在大数据处理中，Sqoop是一款用于在Apache Hadoop与传统关系型...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值