sqoop 导oracle数据到hive

最新推荐文章于 2024-11-12 09:21:13 发布
原创 最新推荐文章于 2024-11-12 09:21:13 发布 · 661 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了使用Sqoop工具与Oracle数据库进行数据交互的过程。包括配置所需的ojdbc6.jar文件，解决常见错误如Attempted to generate class with no columns!，并最终成功将数据从Oracle导入到Hive中。
这个和mysql比较类似，mysql会了，这个应该也容易。
首先需要ojdbc6.jar这个jar包的支持。一般网上可以下到，在$ORACLE_HOME/jdbc/lib下也有
我这里从oracle的这个目录下获取这个jar包，传到$SQOOP_HOME/lib目录下。
sqoop 导oracle数据到hive - scjthree - 亚存的博客
oracle里建了测试用的t表，开始传送试试
sqoop 导oracle数据到hive - scjthree - 亚存的博客
 出现了Attempted to generate class with no columns!的错误，网上找了下，貌似这种错误还蛮多，按提示把用户名和表名都改成大写（按之前日志所讲，还要把jar包传到hdfs里）
sqoop 导oracle数据到hive - scjthree - 亚存的博客
 
现在看起来正常多了，hive查了下
sqoop 导oracle数据到hive - scjthree - 亚存的博客
 数据有了，不过只有一列。加个columns参数，正常了
sqoop 导oracle数据到hive - scjthree - 亚存的博客

sqoop 导oracle数据到hive - scjthree - 亚存的博客
 
 


Oracle中数据迁移到hive平台
qq_43528451的博客
09-01 4092
Oracle中数据迁移到hive平台 ​ 序言：数据从Oracle平台导出为csv格式，上传至hdfs上，在hive上load至临时表，最后insert到目标表，完成数据Oracle中数据迁移到hive平台。（表名及字段等信息属于公司敏感信息，用别的信息代替展示） 1、将数据从oracle导出为csv文件格式 oracle导出数据采用sqluldr 工具 sqluldr user/pasword query='select * from student where age = 10' file='/ho
sqoop从oracle到hive,sqoop从oracle数据库抽取数据,导入到hive
weixin_32503531的博客
04-10 1459
环境:hadoop-2.7.5sqoop-1.4.7zookeeper-3.4.10hive-2.3.3 (使用mysql配置元数据库)jdk1.8.0_151oracle 11.2.0.3.0经过一番baidu,总算初步成功,现在记录一下中间过程.1.拷贝hive/conf/hive_site.xml到sqoop/conf目录2.配置sqoop-evn.sh,将变量设置为对应的目录.export...
Sqoop导Oracle数据到Hive
12-21
Sqoop导Oracle数据到Hive,代码清晰一目了然
kettle 从oracle数据库导数据到hive 表
03-23
由于公司要把oracle 数据库迁移到hive ，hbase 环境，特建议使用kettle做数据迁移，调试3个小时，终于调试成功，顺手写了个配置文档。
oracle导出到hive,从Oracle导出数据并导入到Hive
weixin_28304023的博客
04-02 1604
1、配置源和目标的数据连接源(oracle)： 目标(Hive 2.1.1)，需要事先将hive的驱动程序导入HHDI的lib目录中。 Hive2.1.1需要的jar包如下：可根据自身情况更换hadoop和hive的jar包。hadoop-common-2.6.0.jarhive-common-2.1.0.jarhive-jdbc-2.1.0.jarhive-metastore-2.1.0.jar...
【大数据开发运维解决方案】Oracle通过sqoop同步数据到hive
热门推荐
赵延东的一亩三分地
03-19 17万+
一、介绍 将关系型数据库ORACLE的数据导入到HDFS中，可以通过Sqoop、OGG来实现，相比较ORACLE GOLDENGATE，Sqoop不仅不需要复杂的安装配置，而且传输效率很高，同时也能实现增量数据同步。 说明：本测试hadoop是单节点伪分布式环境,是基于之前写的两篇文章对应的环境操作，前两篇文章分别是： 1、Hadoop+Hive+HBase+Kylin 伪分布式安装指南 2、sq...
sqoop同步oracle数据至hive分区表问题
Ricardo_N的博客
10-24 672
sqoop同步oracle数据进hive分区表问题
oracle导入到hive中,sqoop操作之ORACLE导入到HIVE
weixin_39587010的博客
04-12 1367
导入表的所有字段sqoop import --connect jdbc:oracle:thin:@192.168.1.107:1521:ORCL \--username SCOTT --password tiger \--table EMP \--hive-import --create-hive-table --hive-table emp -m 1;如果报类似的错:ERROR tool.I...
sqoop import将Oracle数据加载至hive，数据量变少，只能导入一个mapper的数据量
最新发布
qq_44540985的博客
11-12 733
方法2（推荐）：手动根据已有字段构建splitby字段，例如常见的日期字段2021-07-21 17:40:00.000，利用TO_CHAR(日期时间字段, 'YYYYMMDD')转换一下，变为20210721这样格式，通常就可用作splitby字段。--query 参数的查询语句在Oracle中查询得到共计24563660数据，而加载到hive表dw.ods_pre_T_JSZX_TF_KJ2_LL中只有3070458数据。要明白其中的原因，必须要明白Oracle中的ROWNUM到底是什么？
运用sqoop将数据从oracle导入到hive中的注意的问题
小江专栏
11-25 1万+
问题一：导入的列有换行符等其他字符如何解决 有一张新闻表，其中有一个字段类型为clob，为新闻的内容，里面有各种字符，其中就包括hive中默认的分隔符和自定义的分隔符。这样当导数据到hive中就会造成数据混乱。 网上参考了两个地址： http://www.th7.cn/Program/java/201608/920584.shtml http://stackoverflow.com
从Oracle导入数据到Hive中
每个人为不同的理由带着面具说谎，动机也只有一种名字那 叫做欲望
10-16 2353
Oracle导入数据到Hive Oracle Hive 大数据
Sqoop从Oracle导入表到Hive
我的博客
04-06 2万+
最近甲方项目希望建立大数据平台，需要将保存在Oracle中的表和记录全部导入到大数据平台中。原计划是将表导入到HBase中，作为Hive外部表，但甲方对如何使用还没有明确想法，HBase行键不好设计，但甲方又急于将数据导入试用。于是决定先将数据导入到Hive中，方便他们做统计分析试验。调研一番后，决定采用Sqoop。现将使用过程总结如下。
从Hive导出数据到Oracle数据库--Sqoop
Waterkong的博客
12-04 1万+
始发与个人博客：https://kongdada.github.io/ 实习老大让我把Hive中的数据导入Oracle数据库。摸索成功后记录如下： 首先解释一下各行代码： sqoop export # 指定要导入到Oracle的那张表（通常与hive中的表同名） --table TABLE_NAME # host_ip:导入oracle库所在的ip:导入的数据库 --connec...
sqoop操作之ORACLE导入到HIVE
weixin_34295316的博客
08-06 314
导入表的所有字段 sqoop import --connect jdbc:oracle:thin:@192.168.1.107:1521:ORCL \ --username SCOTT --password tiger \ --table EMP \ --hive-import --create-hive-table --hive-table emp -m 1;   如果报...
Hive数据导入到Oracle数据库的操作方法
qq646748739的专栏
10-09 8443
具体操作步骤如下： --1.创建测试表 create table test0825(id int, name string) row format delimited fields terminated by ',' stored as textfile; --2.创建测试文件test0825.txt 1,test01 2,test02 3,test03 4,test04
利用Sqoop把Oracle数据迁移到HDFS、Hive
u010185220的专栏
01-17 2万+
提示：以下操作是在Xshell终端进行的，导入数据后若在Xshell终端上查看导入的数据，数据中的中文会出现乱码。要在Linux系统（最好是在可视化的Linux系统端）中去查看数据不会出现乱码。本人刚开始一直都是在Xshell上进行数据的导入、查看测试，花了一天时间解决“乱码”情况都没解决，最后才知是Xshell终端的问题，这里提示一下。一、利用Sqoop，从Oracle到HDFS第一步：把Ora
抽取ORACLE表数据到HIVE
weixin_30273931的博客
09-14 541
1 #!/bin/bash 2 ##----------------------------------------------------------------------------------------- 3 ##--程序名称：抽取ORACLE表数据到HIVE 4 ##--功能描述: 每日全量抽取。 5 ##--参 数：etl_date 业务日...
oracle到hive数据类型转换
jiguanglong的博客
08-13 1万+
oracle和hive中的数据类型存在差异，在oracle集成数据到hive中这样的场景下，我们希望在hive中的数据是贴源的，所以在hive中希望创建和oracle结构一致的表。 oracle到hive数据类型映射参考如下： select case when t1.column_id=1 then 'CREATE TABLE IF NOT EXISTS '||'project'||'....
sqoop导入oracle数据到hive
03-16
sqoop是一个用于在Hadoop和关系型数据库之间传输数据的工具。以下是将Oracle数据导入到Hive的步骤...5. 执行命令后，sqoop将从Oracle中提取数据，并将其加载到Hive表中。 希望这可以帮助你将Oracle数据导入到Hive中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值