sqoop抽取数据从oracle到hive的示例以及一些问题的解决方法

最新推荐文章于 2024-11-12 09:21:13 发布
原创 最新推荐文章于 2024-11-12 09:21:13 发布 · 689 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#sqoop

这篇博客介绍了如何使用Sqoop从Oracle数据库导入数据到Hive表中，包括设置允许文本切分器参数、处理换行符问题、指定字段分隔符、空值表示以及覆盖Hive表等关键步骤，确保数据迁移过程的正确性和效率。 
sqoop import -Dorg.apache.sqoop.splitter.allow_text_splitter=true \
--connect jdbc:oracle:thin:@10.253.253.111:1521/testdb \
--username nc65test8 \
--password nc65test8 \
--table FA_USINGSTATUS \
--hive-import \
--hive-table ods.fa_usingstatus \
--delete-target-dir \
--as-textfile \
--hive-drop-import-delims \
--fields-terminated-by '\001' \
--null-string '\\N' \
--null-non-string '\\N' \
--hive-overwrite \
--m 1

-Dorg.apache.sqoop.splitter.allow_text_splitter=true 切分键不为数字时需要加这个参数

–hive-drop-import-delims 字段中有’\n’时需要加这个参数,不然在hdfs文件映射为hive表时’\n’会被当做换行符,导致数据出问题.

sqoop从oracle到hive,sqoop从oracle数据库抽取数据,导入到hive
weixin_32503531的博客
04-10 1452
环境:hadoop-2.7.5sqoop-1.4.7zookeeper-3.4.10hive-2.3.3 (使用mysql配置元数据库)jdk1.8.0_151oracle 11.2.0.3.0经过一番baidu,总算初步成功,现在记录一下中间过程.1.拷贝hive/conf/hive_site.xml到sqoop/conf目录2.配置sqoop-evn.sh,将变量设置为对应的目录.export...
Sqoop导入导出Hive示例
super_tianxinmomo的博客
03-08 1757
Sqoop是连接传统关系型数据库和Hadoop的桥梁。把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS、HBase 和 Hive) 中；把数据从 Hadoop 系统里抽取并导出到关系型数据库。利用MapReduce，批处理方式进行数据传输。 本篇文章主要是根据Sqoop导入导出到Hive的实际示例，对Sqoop中的import与export进行简要介绍： ===========...
用SQOOP抽取Oracle到HIVE
xcagy-国际性的文档记录中心
11-10 2134
# 定义变量名字 hive='/usr/bin/hive' hive_database='' field_segmentation='\001' external_storage_path='/user/hive/warehouse/qi_tcte/ods' source_database='' source_username='' source_pwd='' source_ip='' source_port='1521' # 日期格式为 yy-MM-dd 2020-01-01 if [ -n "$1.
sqoop从oracle抽数到hive
麻辣灬小笼包的博客
03-11 493
sqoop import –connect jdbc:oracle:thin:@//10.1.67.26:1521/orcl –username gonglt –password test1 -m 1 --table LAAGENT –hive-import –hive-database sas –hive-table laagent –target-dir ‘/user/hive/warehou...
使用pyspark模仿sqoop从oracle导数据到hive的主要功能（自动建表，分区导入，增量，解决数据换行符问题）...
weixin_30945039的博客
07-31 598
　　最近公司开始做大数据项目，让我使用sqoop（1.6.4版本）导数据进行数据分析计算，然而当我们将所有的工作流都放到azkaban上时整个流程跑完需要花费13分钟，而其中导数据（增量）就占了4分钟左右，老板给我提供了使用 spark 导数据的思路，学习整理了一个多星期，终于实现了sqoop的主要功能。 　　这里我使用的是pyspark完成的所有操作。 　　 　　条件：hdfs平台，pys...
sqoop抽取oracle数据到hive,一次用sqoop抽取oracle数据到hive时遇到的问题
weixin_33978722的博客
04-06 279
Error: java.lang.RuntimeException: java.lang.RuntimeException: java.sql.SQLRecoverableException: Io exception: Connection resetat org.apache.sqoop.mapreduce.db.DBInputFormat.setDbConf(DBInputFormat.ja...
Sqoop导Oracle数据到Hive
12-21
### Sqoop导入Oracle数据到Hive的详细步骤与解析 #### 一、概述 在大数据处理领域中，经常需要将关系型数据库中的数据导入到Hadoop的HDFS中，以便进一步进行数据分析或处理。其中，Sqoop作为一种强大的工具，能够...
sqoop脚本抽取hive数据到oracle
03-31
以下是一个示例sqoop脚本，用于将Hive中的数据抽取到Oracle数据库中： ``` sqoop export \ --connect jdbc:oracle:thin:@localhost:1521/orcl \ --username oracle_username \ --password oracle_password \ --...
使用Sqoop实现MySQL到Hive的增量数据抽取
根据提供的文件信息，我们可以得知该主题主要围绕着使用Sqoop工具从MySQL数据库中以增量方式抽取数据到Hive中。文件名为"load_data_incr_sqoop.zip"，其中包含了两个文件："load_data_incr_sqoop.job"和"load_data_...
Sqoop导入导出MySQL、Oracle到HDFS、Hive
abc5582的博客
03-22 436
sqoop ##sqoop命令import ##表示导入--connect jdbc:mysql://ip:3306/test ##告诉jdbc，连接mysql的url--connect jdbc:oracle:thin:@ip:1521/test ##告诉jdbc，连接oracle的url--username root ##连接mysql的用户名 非本地连接时，此用户需要允许远程连接--pass...
sqoop从oracle数据库抽取数据,导入到hive
dhl5950的博客
12-23 846
环境: hadoop-2.7.5 sqoop-1.4.7 zookeeper-3.4.10 hive-2.3.3 (使用mysql配置元数据库) jdk1.8.0_151 oracle 11.2.0.3.0 经过一番baidu,总算初步成功,现在记录一下中间过程. 1.拷贝hive/conf/hive_site.xml到sqoop/conf目录2.配置sqoop-evn....
用Sqoop从oracle导出到Hive中的ORC table
euler1983的专栏
12-13 2899
之前尝试的都是用sqoop导出到hive中的hdfs里，作为外部表。再到hive里建内部表，关联上外部表。 这次尝试直接用sqoop将oracle数据（千万量级）导出到hive中的内部表里。 全程不需要手动建表，方法如下： 1. 利用cx_Oracle程序从oracle里读取表格的前几行数据，读成pandas dataframe。 2. 利用pyspark程序从oracle里用spark.read.jdbc读取原始表，返回值为pyspark dataframe。 3. 利用pyspark的sche
sqoop oracle数据到hive
qq_33004309的博客
04-09 1079
第一步，查看oracle表DEPT对应的信息：第二步，在hive中创建对应的表create table oracletohive(DEPTNO string,DNAME string,LOC string);第三步，使用sqoop导出oracle数据到hive中sqoop import --connect jdbc:oracle:thin:@10.150.XX.XX:1521:数据库名 \--us...
使用sqoop将oracle数据迁移到hive中
xuefenxi的博客
12-24 1710
技术专题：使用sqoop将oracle数据迁移到hive中目标：hive分区表（时间分区表）每个分区表中存放从oracle抽过来的数据，用来数据分析技术分析：    1、将要抽取的oracle表放到一张临时表中，（抽取这张表将其放到抽放到配置文件中,供抽取参数使用）    2、使用sqoop将oracle中的表抽取成HDFS文件。（注意：生成的文件目录应该和hive外表指定的目录对应，目录同
用sqoop将Oracle数据全量/增量导入到HIve的Shell/python脚本(第二版)
qq_40870024的博客
02-15 2513
全量导入 #!/usr/bin/env bash # /bin/bash biz_date=20210101 biz_fmt_date=2021-01-01 dw_parent_dir=/data/dw/ods/one_make/full_imp workhome=/opt/sqoop/one_make full_imp_tables=${workhome}/full_import_tables.txt mkdir ${workhome}/log orcl_srv=oracle.bigdata.cn or
使用Sqoop命令从Oracle同步数据到Hive，修复数据乱码 %0A的问题
川子的博客
11-17 1711
创建Hive分区测试表、Sqoop命令，Oracle数据同步到Hive、修复Sqoop脚本同步数据乱码 %0A的问题、Sqoop常用命令，shell脚本命令
sqoop import将Oracle数据加载至hive，数据量变少，只能导入一个mapper的数据量
最新发布
qq_44540985的博客
11-12 710
方法2（推荐）：手动根据已有字段构建splitby字段，例如常见的日期字段2021-07-21 17:40:00.000，利用TO_CHAR(日期时间字段, 'YYYYMMDD')转换一下，变为20210721这样格式，通常就可用作splitby字段。--query 参数的查询语句在Oracle中查询得到共计24563660数据，而加载到hive表dw.ods_pre_T_JSZX_TF_KJ2_LL中只有3070458数据。要明白其中的原因，必须要明白Oracle中的ROWNUM到底是什么？
hive使用sqoop与oracle传输数据
cyhysr的博客
04-15 1855
下载地址两个版本sqoop1（1.4.x）和sqoop2（1.99.x），两种不同的架构。本文使用sqoop1。sqoop是apache旗下一款“hadoop与关系数据库之间传送数据”的工具。导入数据：从MySQL、Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等存储系统。导出数据：从Hadoop的HDFS、HIVE中导出数据到关系数据库mysql等。sqoop的工作机制是将导入导出命令翻译成mapreduce程序来实现。
Sqoop从Oracle导入到Hive(小坑)
weixin_34025151的博客
12-01 1983
为什么80%的码农都做不了架构师？>>> ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值