使用sqoop迁移blob到Hive表

最新推荐文章于 2024-12-12 08:00:00 发布

原创

最新推荐文章于 2024-12-12 08:00:00 发布 · 4.4k 阅读

16 ·

CC 4.0 BY-SA版权

sqoop是一款开源的关系型数据库到Hadoop的迁移工具，对于通用的数据类型，如数值类型、字符类型、日期类型等sqoop可以提供无缝地迁移到Hadoop平台。但对于特殊类型，如LOB，使用sqoop迁移则有所限制。
对于CLOB，如xml文本，sqoop可以迁移到Hive表，对应字段存储为字符类型。
对于BLOB，如jpg图片，sqoop无法直接迁移到Hive表，只能先迁移到HDFS路径，然后再使用Hive命令加载到Hive表。迁移到HDFS后BLOB字段存储为16进制形式。本文我们介绍如果使用sqoop迁移Oracle中带blob字段的表到相应地Hive表。

1 首先，假设我们已经有现成的Oracle环境，且Oracle中有一张带BLOB（存储图片）字段的表，如t_blob。关于演示如何存储图片到Oracle表中，可参考我的另外一篇博客：使用plsql往Oracle的blob插入图片

2 其次，假设我们有现成的Hadoop集群且装有sqoop，我们验证sqoop可以正常访问Oracle环境并能访问上述带BLOB的表。关于如果配置sqoop与Oracle的连接，可以参考博客：Sqoop1 从Oracle往Hive迁移数据

sqoop-list-tables --driver oracle.jdbc.OracleDriver --connect jdbc:oracle:thin:@10.10.10.7:1521/orcl --username itlr --password itlr

3 现在我们可以使用sqoop的import命令来把带BLOB的表抽取到指定的HDFS路径下

sqoop-import --connect jdbc:oracle:thin:@10.10.10.7:1521/orcl --username itlr --p

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

数据源的港湾

关注关注

2
点赞
踩
16

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

sqoop 导入mysql blob字段,Sqoop导入的数据格式问题

weixin_35598854的博客

03-27

1198

Sqoop简单介绍Sqoop是用来在Hadoop平台和其他结构性存储(比如关系型数据库)之间解决大量数据传输问题的工具。也就是说可以从Oracle，MySQL，PostgreSQL等数据库中将数据传输到HDFS，Hive，HBase上，反之也可以。简单说一下Sqoop的原理。它实际上就是将导入导出这个工作通过指令翻译成一个java文件，然后通过MapReduce来执行格式的转换和传输工作。具体怎么...

sqoop mysql数据进hive 数据条数膨胀变多变成脏数据

qq_34897849的博客

10-11

735

当mysql表中数据含有 \r 或者\n 导入数据到hive会造成数据条数的膨胀，出现大量的脏数据，因为hive表默认的行分隔符时 \n 解决方案去除mysql中的 \r \n #mysql建表 create table student(id int(10),name varchar(255)); insert into student values(1,'{yang\r \n ...

1 条评论您还未登录，请先登录后发表或查看评论

利用 Sqoop 实现 MySQL 数据导入 Hive 的全流程详解

12-12

1万+

MySQL 是一种流行的关系型数据库，擅长存储结构化数据。它的优点在于支持事务处理、查询速度快，特别适合 OLTP（在线事务处理）场景。通过 Sqoop 将 MySQL 数据导入 Hive 是数据集成的核心操作之一。其高效、稳定的特性让数据在两种存储系统之间无缝流转成为可能。掌握这一技能，不仅能提升数据处理能力，还能为企业的分析决策提供强大的技术支持。希望本文能帮助你顺利实现 MySQL 到 Hive 的数据迁移，如有疑问，欢迎交流探讨！

mysql字段blob对应hive_导入Blob数据到Hive

weixin_32258691的博客

01-27

2726

在使用Sqoop的导入RDBMS数据到Hive的过程中,常常会遇到1种情况,那就是某个字段的类型是Blob或Clob这样的大文本类型,如果直接使用Sqoop进行导入的话,会发现无法正常导入。这里,我们以 PostgreSQL 数据库作为例子,进行相关问题的说明:create table test (id serial primary key,content bytea);insert into t...

mysql数据库中的blob数据类型如何导入到hive中

zhulianseu的专栏

12-16

1829

数据仓库数据导入

sqoop 导入mysql blob字段,重新解析存储在由Sqoop从Oracle导入的HDFS中的Blob数据

weixin_35776153的博客

02-11

219

Using Sqoop I’ve successfully imported a few rows from a table that has a BLOB column.Now the part-m-00000 file contains all the records along with BLOB field as CSV.Questions:1) As per doc, knowledge...

Sqoop到Hive数据迁移方案

weixin_40991044的博客

08-28

1265

数据集描述 Oracle源表（SQOOP_BITCOIN_DS） Hive目标表（ods_sqoop_bitcoin_ds） 1.创建目标表手动创建Hive目标表

Sqoop数据迁移原理及基本框架

monstarerv的博客

12-22

663

目录 Sqoop简介 Sqoop旨在协助RDBMS与Hadoop之间进行高效的大数据交流。可以把关系型数据库的数据导入到 Hadoop 与其相关的系统 (如HBase和Hive)中；同时也可以把数据从 Hadoop 系统里抽取并导出到关系型数据库里。 Sqoop是一个在结构化数据和Hadoop之间进行批量数据迁移的工具，结构化数据可以是MySQL、Oracle等RDBMS。Sqoop底层用MapReduce程序实现抽取、转换、加载，MapReduce天生的特性保证了并行化和高容错率。如果要用Sqo

【Sqoop与Hadoop集成】Sqoop与Hive集成：数据类型映射，Hive表的创建与优化

[【Sqoop与Hadoop集成】Sqoop与Hive集成：数据类型映射，Hive表的创建与优化](https://img-blog.csdnimg.cn/422cff57d770404a91f1ba431e3cb6b4.png) # 1. Sqoop和Hadoop集成的基础知识 ## 1.1 数据处理的重要性在...

SQOOP数据导入

热门推荐

zleven的博客

12-21

1万+

sqoop是一个用于在Hadoop和关系型数据库（Oracle，Mysql...）间数据传递的开源工具。下面以Oracle为例，介绍使用sqoop将数据从Oracle导入到Hadoop中（HDFS、Hive和HBase）。

使用sqoop迁移Oracle中blob到Trafodion

数据源的港湾

02-20

839

在前面文章中，我们介绍了使用sqoop把blob迁移到Hive，由于Hive本身不支持LOB类型，我们使用String来存储BLOB数据，存储格式为16进制的字符串。数据在Hive中之后，我们便可以直接使用Trafodion自带的LOAD INTO命令把数据直接从Hive表加载到Trafodion表，如下 SQL&amp;amp;amp;amp;amp;gt;create table t_blob(a int, b varchar(1...

sqoop 导入 hive

mn_kw的博客

05-27

4525

sqoop 导入 Hive 分三步： 1. 先导入--target-dir 指定的 HDFS 的目录中 2. 在 Hive 中建表 3. 调用 Hive 的 LOAD DATA INPATH 把 --target-dir中的数据移动到 Hive 中 import --hive-import --hive-table dw_hd.ods_store --connect jdbc:oracle:th...

使用Sqoop将Oracle数据导入Hive

★【World Of Moshow 郑锴】★

04-10

1万+

使用Sqoop将Oracle数据导入Hive的核心指令是，这段是我经常用的，有些地方做了处理 sqoop import --connect jdbc:oracle:thin:eas/eas@192.168.100.199:1521:eas --table TMP_NEEDCLEAN_PROVIDER2 --hive-import --hive-database xxx --hiv...

Sqoop处理Oracle大字段BLOB

docsz的博客

04-30

871

Sqoop处理Oracle大字段BLOB

sqoop blob mysql_Sqoop处理Clob与Blob字段

weixin_35830006的博客

02-05

481

[Author]: kwuSqoop处理Clob与Blob字段，在Oracle中Clob为大文本。Blob存储二进制文件。遇到这类字段导入hive或者hdfs须要特殊处理。1、oracle中的測试表CREATE TABLET_LOB(A INTEGER,B CLOB,C BLOB)測试数据insert into T_LOB (A, B, C) values (1, 'clob測试',to_blob...

Sqoop从Oracle导入一个大表（3亿）到Hive失败

程裕强的专栏

05-25

1993

[root@node1 sqoop-1.4.7]# bin/sqoop import --connect jdbc:oracle:thin:@node1:1521:ORA --username test --password test --table info --hive-import --target-dir temp_table --hive-table info --null-string...

sqoop导入数据到hive查询全部为null,sqoop导入到hive数据增多的解决方法

a904364908的博客

08-18

5267

sqoop导入数据到hive查询全部为null. 最近在用sqoop导入数据到hive的时候,遇到一个问题.用sqoop将数据导入到hive后,在hive查询,发现数据全部为null. 而用sqoop导入命令的时候,没有报错,提示成功 bin/sqoop import --connect jdbc:mysql://xxxxxxxxxxxxx:3306/xxxxxx --username xx...

用Sqoop从oracle导出到Hive中的ORC table

euler1983的专栏

12-13

2846

之前尝试的都是用sqoop导出到hive中的hdfs里，作为外部表。再到hive里建内部表，关联上外部表。这次尝试直接用sqoop将oracle数据（千万量级）导出到hive中的内部表里。全程不需要手动建表，方法如下： 1. 利用cx_Oracle程序从oracle里读取表格的前几行数据，读成pandas dataframe。 2. 利用pyspark程序从oracle里用spark.read.jdbc读取原始表，返回值为pyspark dataframe。 3. 利用pyspark的sche

sqoop blob mysql_sqoop

weixin_29515317的博客

02-11

179

1、驱动sqoop import --driver com.microsoft.jdbc.sqlserver.SQLServerDriver \ --connect ...2、写sql语句导入的方式sqoop import \ --query 'SELECT a.*, b.* FROM a JOIN b on (a.id == b.id) WHERE $CONDITIONS' \ ...