sqoop导oracle数据库的数据到hive

最新推荐文章于 2024-11-12 09:21:13 发布
转载 最新推荐文章于 2024-11-12 09:21:13 发布 · 134 阅读 · 0
文章标签：

#大数据 #数据库

本文介绍了一次使用Sqoop从Oracle导入数据到Hive过程中遇到的问题及解决方案。主要错误为尝试生成无列的类，通过将用户名和表名改为大写解决了该问题。
环境：CentOS 6.3,   hive-0.9.0-cdh4.1.2, Oracle database 11g
 
 
执行语句：sqoop import --connect jdbc:oracle:thin:@m1-ite-erp-bidev01.m1:8521:biprod --username ahmt --password haddmt --table FCT_PROX_HMT --hive-import -m 1
 
导数的时候出错： ERROR tool.ImportTool: Imported Failed: Attempted to generate class with no columns!
 
经排查，问题出在 --username ahmt 这个选项， 需要把用户名大写， --username AHMT， 同时注意表名也要大写
 
 

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/16582684/viewspace-753702/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/16582684/viewspace-753702/

csdn666666666
关注
Sqoop从Oracle导入表到Hive
我的博客
04-06 2万+
最近甲方项目希望建立大数据平台，需要将保存在Oracle中的表和记录全部导入到大数据平台中。原计划是将表导入到HBase中，作为Hive外部表，但甲方对如何使用还没有明确想法，HBase行键不好设计，但甲方又急于将数据导入试用。于是决定先将数据导入到Hive中，方便他们做统计分析试验。调研一番后，决定采用Sqoop。现将使用过程总结如下。
sqoop从oracle到hive,sqoop从oracle数据库抽取数据,导入到hive
weixin_32503531的博客
04-10 1450
环境:hadoop-2.7.5sqoop-1.4.7zookeeper-3.4.10hive-2.3.3 (使用mysql配置元数据库)jdk1.8.0_151oracle 11.2.0.3.0经过一番baidu,总算初步成功,现在记录一下中间过程.1.拷贝hive/conf/hive_site.xml到sqoop/conf目录2.配置sqoop-evn.sh,将变量设置为对应的目录.export...
Sqoop导Oracle数据到Hive
12-21
Sqoop导Oracle数据到Hive,代码清晰一目了然
Sqoop工具使用（一)--从oracle导入数据到hive
xiaozhuangfeng的专栏
09-16 1879
sqoop import  -D oracle.sessionTimeZone=CST --connect jdbc:oracle:thin:@192.168.78.6:1521:hexel \ --username TRX --table SQOOP -m 1 --password trx    --warehouse-dir /xtld/data/gj/SQOOP \ --hive-imp
sqoop操作之ORACLE导入到HIVE
weixin_34295316的博客
08-06 305
导入表的所有字段 sqoop import --connect jdbc:oracle:thin:@192.168.1.107:1521:ORCL \ --username SCOTT --password tiger \ --table EMP \ --hive-import --create-hive-table --hive-table emp -m 1;   如果报...
使用sqoop将数据从oracle导入到Hive
mouriceley的博客
06-01 4077
1、基本环境篇    操作系统：Ubuntu 16.04 LTS    Hadoop:2.92、安装及配置mysql   （1）安装mysql  $ sudo apt-get update    $ sudo apt-get install mysql-server   （2）启动mysql         $ service mysql start   （3）设置mysql开启自启动 $...
sqoop import将Oracle数据加载至hive，数据量变少，只能导入一个mapper的数据量
最新发布
qq_44540985的博客
11-12 704
方法2（推荐）：手动根据已有字段构建splitby字段，例如常见的日期字段2021-07-21 17:40:00.000，利用TO_CHAR(日期时间字段, 'YYYYMMDD')转换一下，变为20210721这样格式，通常就可用作splitby字段。--query 参数的查询语句在Oracle中查询得到共计24563660数据，而加载到hive表dw.ods_pre_T_JSZX_TF_KJ2_LL中只有3070458数据。要明白其中的原因，必须要明白Oracle中的ROWNUM到底是什么？
oracle导入到hive中,sqoop操作之ORACLE导入到HIVE
weixin_39587010的博客
04-12 1357
导入表的所有字段sqoop import --connect jdbc:oracle:thin:@192.168.1.107:1521:ORCL \--username SCOTT --password tiger \--table EMP \--hive-import --create-hive-table --hive-table emp -m 1;如果报类似的错:ERROR tool.I...
Hadoop-Sqoop-Oracle:使用Sqoop在Oracle数据库和HDFS之间进行导入和导出
04-07
使用Sqoop在Oracle数据库和HDFS之间进行导入和导出 内容 使用 操作系统-Ubuntu 20.04.1 LTS（VMware） 后端-Java （JDK 1.8）， Sqoop（v1.4.7） ， Hadoop（v3.3.0） 库-OJDBC（v7），commons-lang-2.6.jar ...
使用pyspark模仿sqoop从oracle导数据到hive的主要功能（自动建表，分区导入，增量，解决数据换行符问题）...
weixin_30945039的博客
07-31 598
　　最近公司开始做大数据项目，让我使用sqoop（1.6.4版本）导数据进行数据分析计算，然而当我们将所有的工作流都放到azkaban上时整个流程跑完需要花费13分钟，而其中导数据（增量）就占了4分钟左右，老板给我提供了使用 spark 导数据的思路，学习整理了一个多星期，终于实现了sqoop的主要功能。 　　这里我使用的是pyspark完成的所有操作。 　　 　　条件：hdfs平台，pys...
sqoop导入oracle数据至hive
彩虹柠檬水
11-05 3867
一、目的 将oracle数据文件dmp中的数据导入到hive中。 目标分解： 由于已有的数据都在dmp文件中，因此要先将dmp文件中的数据导入到oracle中，再将oracle中的表导入到hive中。 二、dmp文件导入到oracle数据库 dmp文件：只有一个不知来源的dmp文件，不知道从哪个数据库中导出的，也不知道导出用户是谁。（不要紧，后面可以根据错误提示一步步改） oracle
oracle sqoop 导出_Sqoop工具使用(二)--从oracle导入数据到hive
weixin_39955418的博客
12-22 362
sqoop import -D oracle.sessionTimeZone=CST --connect jdbc:oracle:thin:@192.168.78.6:1521:hexel \--username TRX --table SQOOP -m 1 --password trx --warehouse-dir /xtld/data/gj/SQOOP \--hive-import ...
sqoop导入oracle分区表,sqoop导入oracle数据至hive
weixin_32525457的博客
04-10 1076
一、目的将oracle数据文件dmp中的数据导入到hive中。目标分解：由于已有的数据都在dmp文件中，因此要先将dmp文件中的数据导入到oracle中，再将oracle中的表导入到hive中。二、dmp文件导入到oracle数据库dmp文件：只有一个不知来源的dmp文件，不知道从哪个数据库中导出的，也不知道导出用户是谁。(不要紧，后面可以根据错误提示一步步改)oracle数据库：安装oracle...
用sqoop将oracle数据导入Hive
u010842515的博客
04-14 1711
参数 说明 --
sqoop从oracle数据库抽取数据,导入到hive
dhl5950的博客
12-23 846
环境: hadoop-2.7.5 sqoop-1.4.7 zookeeper-3.4.10 hive-2.3.3 (使用mysql配置元数据库) jdk1.8.0_151 oracle 11.2.0.3.0 经过一番baidu,总算初步成功,现在记录一下中间过程. 1.拷贝hive/conf/hive_site.xml到sqoop/conf目录2.配置sqoop-evn....
用sqoop将Oracle数据全量/增量导入到HIve的Shell/python脚本(第二版)
qq_40870024的博客
02-15 2511
全量导入 #!/usr/bin/env bash # /bin/bash biz_date=20210101 biz_fmt_date=2021-01-01 dw_parent_dir=/data/dw/ods/one_make/full_imp workhome=/opt/sqoop/one_make full_imp_tables=${workhome}/full_import_tables.txt mkdir ${workhome}/log orcl_srv=oracle.bigdata.cn or
使用Sqoop命令从Oracle同步数据到Hive，修复数据乱码 %0A的问题
川子的博客
11-17 1708
创建Hive分区测试表、Sqoop命令，Oracle数据同步到Hive、修复Sqoop脚本同步数据乱码 %0A的问题、Sqoop常用命令，shell脚本命令
sqoop oracle数据到hive
qq_33004309的博客
04-09 1078
第一步，查看oracle表DEPT对应的信息：第二步，在hive中创建对应的表create table oracletohive(DEPTNO string,DNAME string,LOC string);第三步，使用sqoop导出oracle数据到hive中sqoop import --connect jdbc:oracle:thin:@10.150.XX.XX:1521:数据库名 \--us...
Sqoop的基本操作，以及导入Oracle和MySQL中的数据到Hive、HDFS、HBase
liuzhuang2017的博客
08-28 1707
import ：Import a table from a database to HDFS sqoop import 的本质是：就是MR程序导入数据到HDFS （1）把Oracle中的EMP表 导入到HDFS中 [root@bigdata11 conf]#sqoop import --connect jdbc:oracle:thin:@192.168.100...
sqoop从oracle导入数据到hive
06-10
使用Sqoop将数据从Oracle导入到Hive需要以下步骤： 1. 确保Hive和Oracle的JDBC驱动程序已正确安装并配置在Sqoop的...执行此命令后，Sqoop将使用Oracle JDBC驱动程序连接到Oracle数据库，并将数据导入到Hive表中。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值