解决Sqoop CLOB 字段从Oracle导入Hive错行

最新推荐文章于 2022-09-14 15:56:06 发布
最新推荐文章于 2022-09-14 15:56:06 发布
阅读量3k 收藏 13
点赞数
分类专栏： Hive 文章标签： Sqoop Hive CLOB 换
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u012422198/article/details/84662691
版权
本文详细介绍了在使用Sqoop将Oracle数据库中的CLOB字段导入Hive时，如何正确处理CLOB字段中的换行符。指出直接使用--hive-drop-import-delims参数无法有效去除换行符，并提供了添加--map-column-java参数指定CLOB列名为String的解决方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

oracle sqoop 导出_Sqoop从Hive导出数据到Oracle
weixin_39658474的博客
12-31 1046
近期临时需要把几个Hive表导出到Oracle中，参考了一些网上的文章，很有帮助，但是并不是很顺利，还是踩了些坑，所以再写多一篇，希望能帮助有需要的朋友更快完成任务。首先要说下，因为没有长期或者大量的这种导出任务，所以我并没有花更多时间去做一些更自动化的脚本，Reference [1] 有个批量脚本，可以参考下。Oracle中建表要把Hive的数据往Oracle导，需要Oracle中存在对应的表，...
sqoop使用，从hive向oracle导入数据
hefrankeleyn的博客
12-19 3983
author: lf sqoop export 使用说明 --export-dir 和 (--table和--call中的一个)是必须的。 指定了将要填充的表（或将要调用的存储过程），以及hdfs包含资源数据的目录 --columns 默认将查询出表中所有的字段。通过这个参数可以选择列的子集并控制它们的顺序，使用逗号分割，例如：–columns “col1,col2,col3”。 注意，col...
CLOB 字段类型报错 ORA-01704: 文字字符串过长的解决
11-10
CLOB字段类型报错 ORA-01704:文字字符串过长的解决
Sqoop处理Oracle大字段BLOB
docsz的博客
04-30 860
Sqoop处理Oracle大字段BLOB
oracle数据导入hive及自动处理type错误
weixin_43053022的博客
08-14 431
1、oracle2hive #!/bin/sh user='skoanasqp' passwd='temp0628' db=`echo $user|sed 's/sqp//'` jdbc='100.73.57.56:1534' sqlplus -S "$user/$passwd@100.73.57.56:1534/$db" >./tables.txt <<EOF set echo...
oracle clob 查询换行,sqoop clob从Oracle导入到hive   回车换行导致记录增多
weixin_39914049的博客
04-04 374
sqoop clob从Oracle导入到hive 回车换行导致记录增多发布时间：2020-06-27 02:45:01来源：51CTO阅读：3159作者：jackwxhsqoop import --hive-import --hive-overwrite --connect jdbc:oracle:thin:@192.168.92.136:1521:cyporcl --username ...
Sqoop1.99.7：encoded string too long: xxxx bytes问题记录
z19920904的博客
07-24 708
版本：Sqoop1.99.7 问题描述：在项目上需要从oracle交换数据到hive中，oracle表中有大字段（clob，blob等），在mapper阶段抛出了encoded string too long 错误。 原因：因为Sqoop中间交换的数据格式默认使用的是CSVIntermediateDataFormat public void write(DataOutput out) 方法会把m...
sqoop 导入mysql blob字段,Sqoop导入的数据格式问题
weixin_35598854的博客
03-27 1182
Sqoop简单介绍Sqoop是用来在Hadoop平台和其他结构性存储(比如关系型数据库)之间解决大量数据传输问题的工具。也就是说可以从Oracle，MySQL，PostgreSQL等数据库中将数据传输到HDFS，Hive，HBase上，反之也可以。简单说一下Sqoop的原理。它实际上就是将导入导出这个工作通过指令翻译成一个java文件，然后通过MapReduce来执行格式的转换和传输工作。具体怎么...
sqoop blob mysql_Sqoop处理Clob与Blob字段
weixin_29207439的博客
02-05 691
[Author]: kwuSqoop处理Clob与Blob字段，在Oracle中Clob为大文本，Blob存储二进制文件。遇到这类字段导入hive或者hdfs需要特殊处理。1、oracle中的测试表[mw_shl_code=bash,true]CREATE TABLET_LOB(A INTEGER,B CLOB,C BLOB)[/mw_shl_code]测试数据[mw_shl_code=sql,t...
Sqoop处理Clob与Blob字段
06-27 4817
[Author]: kwu --- Sqoop处理Clob与Blob字段，在Oracle中Clob为大文本，Blob存储二进制文件。遇到这类字段导入hive或者hdfs需要特殊处理。
sqoop操作之HIVE导出到ORACLE
weixin_34167819的博客
08-06 333
示例数据准备 hive中创建dept表 create table dept( deptno int, dname string, loc string ) row format delimited fields terminated by '\t' lines terminated by '\n' stored as textfile;   导入数据： sqoo...
使用sqoop迁移blob到Hive表
数据源的港湾
02-20 4451
sqoop是一款开源的关系型数据库到Hadoop的迁移工具，对于通用的数据类型，如数值类型、字符类型、日期类型等sqoop可以提供无缝地迁移到Hadoop平台。但对于特殊类型，如LOB，使用sqoop迁移则有所限制。 对于CLOB，如xml文本，sqoop可以迁移到Hive表，对应字段存储为字符类型。 对于BLOB，如jpg图片，sqoop无法直接迁移到Hive表，只能先迁移到HDFS路径，然后再...
sqoop导入hive数据时对换行等特殊字符处理
CaptainJava的博客
09-11 8603
使用场景：  公司大数据平台ETL操作中，在使用sqoop将mysql中的数据抽取到hive中时，由于mysql库中默写字段中会有换行符，导致数据存入hive后，条数增多（每个换行符会多出带有null值得一条数据），导致统计数据不准确。   解决办法： 利用一下两个参数可以实现对换行等特殊字符的替换或者删除 --hive-delims-replacement --hive-drop-i...
sqoop处理换行符--包含clob字段情况
Rango_lhl的博客
01-26 1573
一、sqoop同步oracle数据非clob字段： 要处理换行符，在sqoop脚本中，参数使用下面任意一个即可 #替换为空 --hive-delims-replacement "" #删除 --hive-drop-import-delims 二、sqoop同步oracle数据clob字段 clob字段一般包含大量文本，必然包含换行符，使用上面参数没有作用，需要使用下面参数： #指定clob列为String类型 --map-column-java CLOB列=String 例子如下： orac
sqoop命令参数参考说明及案例示例
chimchim66的博客
09-14 2229
sqoop命名示例及实战案例示例
hive blob类型
最新发布
03-23
### Hive 中 BLOB 类型的支持情况 Hive 并不原生支持 RDBMS 数据库中的 `BLOB` 或 `CLOB` 类型。当尝试将这些类型的数据从关系型数据库（如 MySQL、Oracle 等）导入到 Hive 表中时，可能会遇到兼容性和转换问题[^1]。 #### 为什么 Hive 不直接支持 BLOB？ Hive 是一种分布式数据仓库工具，主要用于处理结构化和半结构化的数据。它的设计目标并不是为了存储二进制大对象（Binary Large Objects），而是更倾向于分析大规模的文本或数值型数据。因此，在 Hive 的数据模型中并未定义专门的 `BLOB` 类型[^3]。 #### 如何解决 Sqoop 导入带 BLOB 字段的问题？ 由于 Hive 对于 `BLOB` 和 `CLOB` 类型缺乏直接支持，通常有以下几种解决方案： 1. **映射为 STRING 类型** 可以在 Sqoop 导入过程中，通过 `--map-column-java` 参数将 `BLOB` 列强制映射为 Java 的 `String` 类型。这会使该列的内容被解释为普通的字符串形式，尽管可能丢失部分原始语义。 ```bash sqoop-import \ --connect jdbc:mysql://localhost/testdb \ --username root \ --password password \ --table T_BLOB \ --hive-import \ --create-hive-table \ --map-column-java BLOB_COLUMN=String ``` 2. **映射为 BINARY 类型** 如果需要保留二进制数据的实际内容而不进行任何字符编码假设，则可以考虑将 `BLOB` 映射为 Hive 的 `BINARY` 类型。需要注意的是，虽然 `BINARY` 能够保存任意字节序列，但它仍然存在长度限制，并不适合非常大的二进制对象。 3. **外部存储方式** 对于特别庞大的二进制文件（例如图片、视频等），推荐的做法是把这些实际的大文件存放到 HDFS 上面，而在 Hive 表里仅维护指向它们路径的小记录。这种方式既节省空间又提高了查询效率。 4. **自定义 UDF 处理逻辑** 开发者还可以编写自己的 User Defined Functions (UDFs)，用于特定场景下的复杂转换需求。比如先下载完整的行数据至本地磁盘后再上传回集群等等操作都可以封装成函数调用实现自动化流程管理。 #### 查看 ORC 文件内容的方法 如果最终决定采用 ORC 存储格式来优化性能表现的话，请记住常规手段下我们无法直观阅读此类压缩后的二进制文档；此时可借助如下指令完成调试工作： ```bash hive --orcfiledump /path/to/orc_file ``` 上述命令能够帮助开发者快速定位潜在错误并验证预期结果是否正确生成[^4]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值