sqoop1.4.2 从Oracle装载数据到HDFS

最新推荐文章于 2021-04-05 16:30:07 发布
原创 最新推荐文章于 2021-04-05 16:30:07 发布 · 598 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍如何利用Sqoop将Oracle数据库中的数据导入Hive表，并讨论了sqoop import命令的具体用法，包括如何指定连接字符串、用户名、密码、目标表等参数。还提到了在使用sqoop2过程中遇到的问题及建议。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

如果需要创建hive表的话，则执行sqoop的机器需要可以直接执行hive。

sqoop import --connect jdbc:oracle:thin:@//192.168.1.222:1521/orcl --username ss -password ss --table ABTABLE --hive-import --hive-database default --create-hive-table -m 1

如果-m 设置为大于1，则必须加入--split-by 字段名


在一些情况下，会导致ubuntu图形界面崩溃退出，建议先更新ubuntu的补丁。然后再调整内存设置。

sqoop2实在是太难使了，真的不推荐，经常出现莫名其妙的错误。


split-by参数设置的比较弱智，如果使int分配的不均匀会导致有的map累死，有的闲死

sqoop2 java API从oracle导数据到HDFS开发总结
08-23
除了代码还有总结内容，代码主要实现了从sqoop1.99.7从oracle导出数据到HDFS某目录；总结内容是一些踩坑的总结，还有一些坑的说明在代码注释里；灵活利用，可以帮助你跑通oracle到hdfs的过程。
Hadoop-Sqoop-Oracle:使用Sqoop在Oracle数据库和HDFS之间进行导入和导出
04-07
使用Sqoop在Oracle数据库和HDFS之间进行导入和导出 内容 使用 操作系统-Ubuntu 20.04.1 LTS（VMware） 后端-Java （JDK 1.8）， Sqoop（v1.4.7） ， Hadoop（v3.3.0） 库-OJDBC（v7），commons-lang-2.6.jar ...
oracle 存储在 hdfs,将数据从oracle移动到HDFS,处理并从HDFS移动到Teradata
weixin_34352565的博客
04-05 310
看起来你有几个问题,所以让我们试着把它分解.在HDFS中导入看起来你正在寻找Sqoop. Sqoop是一个工具,可以让你轻松地将数据传入/传出HDFS,并可以本地连接到包括Oracle在内的各种数据库. Sqoop与Oracle JDBC瘦驱动程序兼容.以下是从Oracle转移到HDFS的方法：sqoop import --connect jdbc:oracle:thin@myhost:1521/...
sqoop2将Oracle数据导入HDFS
大数据同盟会的博客
10-30 3894
Sqoop 是一个设计用于在 Apache Hadoop 和结构化数据存储（如关系数据库）之间高效地传输大批量数据的工具。Cloudera Manager 支持的版本为 Sqoop 2。 一、添加sqoop2到CDH 因为我使用的的CDH搭建hadoop集群，所以可以通过cloudera manager添加上sqoop2. 二、把Oracle驱动拷贝到Sqoop安装路径中的lib文件夹下 我的O...
使用sqlldr 遇到的问题
q12344566789的博客
03-03 2216
错误代码：SQL*Loader-457: Comparison text of CONTINUEIF LAST must have length 1 not 63 先到http://docs.oracle.com/cd/A57673_01/DOC/server/doc/MSG73/ch7.htm    去查找错误原因 下面附控制文件代码 load data infile * conti
sqlldr从服务器上获取txt文件数据导入到数据库
kiss199203的专栏
08-14 1448
1、需求： 从指定服务器上获取txt文件数据，导入指定到数据库中 2.  INTERFACE_test_LABEL.ctl 文件内容如下： load data CHARACTERSET UTF8 #要读取的文件 infile '/test_cpcout/test/test_20170811_000001.txt' append into table TBL_test_BAS
sqoop2 java API从oracle导数据到HDFS开发总结新
03-07
### Sqoop2 Java API从Oracle导数据到HDFS开发总结 #### 整体说明与准备工作 本文档旨在帮助读者理解如何使用Sqoop2的Java API将数据从Oracle数据库迁移至Hadoop分布式文件系统（HDFS）。为了顺利完成这一过程，本...
sqoop-1.4.2.bin__hadoop-2.0.0-alpha.tar
07-30
Sqoop 是 Apache Hadoop 生态系统中的一个工具，主要用于在关系型数据库（如 MySQL、Oracle 等）和 Hadoop 分布式文件系统（HDFS）之间高效地传输数据。这个压缩包 "sqoop-1.4.2.bin__hadoop-2.0.0-alpha.tar" 提供...
Sqoop实现关系型数据库数据导入HDFS.doc
最新发布
08-06
Sqoop实现关系型数据库数据导入HDFS.doc
sqlserver数据导入hdfs和hive的解决方案
weixin_33682790的博客
01-29 487
方法一： 环境：win7+sqlserver2008 工具：bcp 测试效率： 新闻数据库，10000000行，25.8G 导出时间：约2个小时 每秒约1326行 方法二： 用循环执行sql语句，分段写入文件。 1Bcp介绍 bcp实用工具可以在MicrosoftSQLServer实例和用户...
DataX操作指南
Jinyao的博客
05-15 1282
DataX操作指南 1.DataX介绍 DataX DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。 ...
oracle sqlldr 数据导入错误Field in data file exceeds maximum length解决
wckjlu的专栏
04-13 1万+
使用oracle sqlldr进行数据导入时报Field in data file exceeds maximum length错误的解决办法: 一种是数据字段确实比数据库中的字段要长，这中错误需要调整数据库字段的长度,一种是减小字段的长度。 第二种是因为要入库的字段问题(中文问题)，这种问题在control文件中添加字符类型表示进行解决。如: load data append into ta
Sqlldr性能优化总结 转
09-17 889
http://blog.sina.com.cn/s/blog_64a3fac70100thyt.html 部分关键字: userid -- ORACLE username/password cont...
使用sqoop从Oracle或mysql抽取数据到HDFS遇到的报错及解决
勤能补拙
12-15 1万+
一、参考文档： 1、https://www.rittmanmead.com/blog/2014/03/using-sqoop-for-loading-oracle-data-into-hadoop-on-the-bigdatalite-vm/ 2、http://www.cnblogs.com/bjtu-leefon/archive/2013/06/28/3160549.html 二、
利用Sqoop把Oracle数据迁移到HDFS、Hive
热门推荐
u010185220的专栏
01-17 2万+
提示：以下操作是在Xshell终端进行的，导入数据后若在Xshell终端上查看导入的数据，数据中的中文会出现乱码。要在Linux系统（最好是在可视化的Linux系统端）中去查看数据不会出现乱码。本人刚开始一直都是在Xshell上进行数据的导入、查看测试，花了一天时间解决“乱码”情况都没解决，最后才知是Xshell终端的问题，这里提示一下。一、利用Sqoop，从Oracle到HDFS第一步：把Ora
基于OGG的Oracle与Hadoop集群准实时同步介绍
qian_xiaoqian的博客
11-16 5668
版权声明：本文由王亮原创文章，转载请注明出处:  文章原文链接：https://www.qcloud.com/community/article/220 来源：腾云阁 https://www.qcloud.com/community Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段。近期有场景需要做Oracle到Hadoop体系的实时导入，
sqoop--oracle与hdfs互导
direction
06-25 3043
此例中使用的oracle数据库版本为10.2.0.2，hadoop版本为1.2.0，sqoop版本为1.4.3。示例数据位oracle自带的sample schema。 一、从oracle到hdfs 1.编辑脚本 [hadoop@node1 bin]$ vi oracle2hdfs.sh #jdbc连接字符串 CONNECTURL=jdbc:oracle:thin:@10.190.105.6
Oracle常用导出导出命令及性能效率对比
weixin_34274029的博客
09-13 365
说明Oracle导入导出命令主要有EXPDP和IMPDP、EXP和IMP，区别如下：EXP和IMP是客户端工具程序，它们既可以在客户端使用，也可以在服务端使用。EXPDP和IMPDP是服务端的工具程序，他们只能在ORACLE服务端使用，不能在客户端使用。IMP只适用于EXP导出的文件，不适用于EXPDP导出文件；IMPDP只适用于EXPDP导出的文件，而不适用于EXP导出文...
使用JDBC将数据从Oracle导入到HDFS中
XueEaten的博客
10-30 2096
从Oracle导入数据到HDFS中最常见的方式就是利用sqoop，但是使用sqoop是有一些前提要求的，当我们因为某些原因不能使用sqoop时，就应该考虑其他的方式了，比如java中最常用的jdbc。本文就是我以一个编程新手的身份处理这个需求的全部过程及体会，其中还会包含一些作为新手初次使用maven构建遇到的问题以及从mysql到oracle的不适应导致的一些问题等等。 首先，在网上查了一些资料...
sqoop 将oracle数据表导入到HDFS中
06-08
可以使用Sqoop将Oracle数据表导入到HDFS中，具体步骤如下： 1. 确认Hadoop集群已经正常启动，并且Oracle数据库已经开启。 2. 在终端中输入以下命令连接到Sqoop： ``` sqoop import --connect jdbc:oracle:thin:@...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值