Sqoop处理Oracle大字段BLOB

基于sqoop将hive数据导入到Oracle中 根据项目的需要,数据要从hive的app层导出到oracle进行数据结果的加工及展示在相应的系统上。hive的分区表数据–>oracle的实体表中数据表oracle创建:(字段与hive保持一致)sqoop中导入可能存在的问题,hive表的存储格式为textfile时,使用export-dir参数时导入的数据会有脏数据的情况,记得要手动处理掉!!sqoop版本1.4.4Z之后建议选择hcatalog参数进行导入。 ...... 阅读详情

1、Oracle初始化数据

create table t_lob
(
a integer,
b clob,
c blob
)
   
insert into t_lob (a, b, c) values (1, 'clob測试',to_blob('3456'));
insert into t_lob (a, b, c) values (2, to_clob('clob測试'),to_blob('大数据'));
SELECT * FROM t_lob;

2、Hive创建表

create table ods.t_lob
(
a int,
b string,
c string
)
--partitioned by (batch_no string)
row format delimited fields terminated by '\t' 
lines terminated by '\n' stored as textfile;

3、执行Sqoop脚本

sqoop import "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" \
--connect 'jdbc:oracle:thin:@IP:1521:orc' \
--username  用户名\
--password 密码 \
--table T_LOB \
--fields-terminated-by '\t' \
--lines-terminated-by '\n' \
--as-textfile \
--hive-import \
--hive-overwrite \
--delete-target-dir \
--hive-database ods \
--hive-table t_lob \
-m 1 \
--map-column-hive A=Integer,B=String,C=String
Sqoop处理Clob与Blob字段 [Author]: kwu --- Sqoop处理Clob与Blob字段,在Oracle中Clob为大文本,Blob存储二进制文件。遇到这类字段导入hive或者hdfs需要特殊处理。 阅读详情

相关推荐

sqoop blob mysql_Sqoop处理Clob与Blob字段

[Author]: kwuSqoop处理Clob与Blob字段,在Oracle中Clob为大文本,Blob存储二进制文件。遇到这类字段导入hive或者hdfs需要特殊处理。1、oracle中的测试表[mw_shl_code=bash,true]CREATE TABLET_LOB(A INTEGER,B CLOB,C BLOB)[/mw_shl_code]测试数据[mw_shl_code=sql,t...

weixin_29207439的博客 768

oracle blob字段搬家

导出 select substr(utl_raw.cast_to_raw( utl_raw.cast_to_varchar2(DBMS_LOB.SUBSTR( salt))) ,0 ) sdsddfgvsd FROM sdsd.sdsdsdsd 导入 insert into select to_blob( (b.sdsddfgvsd) FROM sdsd.sdsdsdsd 但是 这个to_blob 只能放到最后一个字段,放到前面一点就报错 这样还可以避免俩oracle库字符集不一致导致.

悠远的博客 921

sqoop 导入mysql blob字段,Sqoop导入的数据格式问题

Sqoop简单介绍Sqoop是用来在Hadoop平台和其他结构性存储(比如关系型数据库)之间解决大量数据传输问题的工具。也就是说可以从Oracle,MySQL,PostgreSQL等数据库中将数据传输到HDFS,Hive,HBase上,反之也可以。简单说一下Sqoop的原理。它实际上就是将导入导出这个工作通过指令翻译成一个java文件,然后通过MapReduce来执行格式的转换和传输工作。具体怎么...

weixin_35598854的博客 1319

解决sqoop1.4.4无法导入oracle的blob字段到hbase的问题

最近在做oracle到hbase的数据迁移,有一张表有blob字段,在导入时发现没有导入成功,在网上找了好久,都没有搞定,最后没办法只能研究一下sqoop的源码,自己解决了。 在研究源码后,发现sqoop中已经有了关于blob字段的处理方法了,但不知道什么原因,对hbase没有正确处理,存在bug。主要做如下修改: 在org.apache.sqoop.mapreduce.HBaseImport

kingmaxno1的专栏 3349

Lede(OpenWrt)安装和双宽带叠加

LEDE是一个专为路由器和嵌入式设备设计的自由和开源的操作系统。LEDE是OpenWRT项目的一个分支项目。LEDE操作系统包括许多路由器有用的功能,如网络地址转换、防火墙、端口转发、DHCP服务器等。

我的博客 6443

【实战指南】DBeaver EE Windows版高效破解与配置全解析

本文详细解析了DBeaver EE Windows版的高效破解与配置方法,涵盖Java环境配置、破解包部署、配置文件修改等关键步骤,并提供了性能优化和数据库连接的最佳实践。适用于需要解锁企业版高级功能的数据库开发人员,帮助提升工作效率。

weixin_28837817的博客 1910

sqoop 导入mysql blob字段,重新解析存储在由Sqoop从Oracle导入的HDFS中的Blob数据

Using Sqoop I’ve successfully imported a few rows from a table that has a BLOB column.Now the part-m-00000 file contains all the records along with BLOB field as CSV.Questions:1) As per doc, knowledge...

weixin_35776153的博客 270

CentOS 7/8 系统下,基于Docker Compose一键部署Dify AI应用平台

本文详细介绍了在CentOS 7/8系统下,使用Docker Compose一键部署Dify AI应用平台的完整流程。从系统环境准备、Docker引擎安装与加速配置,到获取Dify项目、关键环境变量设置,再到服务启动、状态监控及初始化访问,提供了手把手的部署指南和常见问题排查方法,帮助用户快速搭建稳定、可维护的AI应用开发环境。

q5r6s7的博客 140

oracle blob 表导出,从oracle导出blob数据到hbase中的问题

大家好,最近在做数据的迁移,使用sqoop从oracle中把数据导出到hbase中,如果oracle表没有blob字段,可以正常导出;但是如果表中包含blob字段,则sqoop命令直接出错,错误如下:哪位大侠有碰到过这个问题呀?15/08/14 12:38:28 DEBUG manager.OracleManager: Using column names query: SELECT t.* FR...

weixin_39565910的博客 291

Howland电流源电路:从理论到实践的深度解析与优化策略

本文深度解析了Howland电流源电路的工作原理,从经典四电阻架构的“虚短”“虚断”分析,到其实现宽带恒流输出的理论优势。重点剖析了实践中因电阻精度、运放参数及PCB布局导致的性能瓶颈,并提供了引入第五电阻、优化运放选型等关键优化策略,旨在将输出阻抗从kΩ级提升至MΩ级,以满足精密测量与传感器驱动等应用需求。

weixin_29243063的博客 444

文华财经公式编程:麦语言简介及基础语法

文华财经公式语言(麦语言)是一种专门用于金融领域的编程语言,它是由文华财经公司开发的。提供了丰富的金融计算函数和数据处理功能,可以用于金融市场的数据分析、模型建立和交易策略的开发。例1:A:CLOSE;// 定义变量A为收盘价(盘中k线没有走完的时候A为最新价)。例2:MA5:=MA(C,5);// 定义收盘价的5周期均线(C为CLOSE简写)。例3:A:=REF(C,1);// 取得前一根k线的收盘价。

超哥量化的博客 1万+

Sqoop同步clob字段数据问题

sqoop同步

Ricardo_N的博客 693

2、实时DSP编程技术及其应用

本文详细介绍了实时数字信号处理(DSP)技术及其应用,涵盖三种流行的浮点DSP处理器系列的特点、开发工具和优化方法。通过具体的应用实例,如语音压缩、音乐信号处理和雷达信号处理,展示了如何在实际项目中应用这些技术,帮助工程师提高系统的性能和可靠性。

cicd6pipeline的博客 840

解决Sqoop CLOB 字段从Oracle导入Hive错行

CLOB字段从Oracle导入到Hive时,如果CLOB中有换行符 Sqoop import参数选项 --hive-drop-import-delims对CLOB中换行符是没有效果的 需要显示添加--map-column-java CLOB列名=String 这样--hive-drop-import-delims 才能去除CLOB中的换行符。 参考文章 https://stackover...

简单的心的博客 3132

库存管理系统项目部署方案(基于jdk17)

不需要安装到服务器,运维本地安装就行,主要是用来编译前端代码的。构建完成后将dist文件夹复制到服务器内。

程序员诚哥 6390

10、边缘智能学习技术解析

本文深入解析了边缘智能学习技术的四大核心方法:联邦学习、DNN拆分、迁移学习和八卦学习。文章从人类大脑的学习机制出发,引出边缘级智能的重要性,并详细阐述各类技术的架构、优势、挑战及适用场景。通过对比分析,展示了不同技术在隐私性、效率、可扩展性等方面的特性,并探讨了未来融合多种技术、软硬件协同优化及应用领域拓展的发展趋势,为边缘智能在物联网与人工智能领域的应用提供了系统性参考。

ppp33的博客 118

sqoop导数据遇到的部分问题

在导入hive的时候,如果数据库中有blob或者text字段,会报错,解决方案: clob:在将数据由Oracle数据库导入到Hive时,发现带有clob字段的表的数据会错乱,出现一些字段全为NULL的空行。 由于在项目中CLOB字段没有实际的分析用途,因此考虑将CLOB字段去掉。 同时,为了防止CLOB字段产生一些问题,因此将HIVE中CLOB字段禁用,禁用的方式如下: [Hadoop@mast...

java1440657916的博客 4929

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

sqoop-使用文档

该项目已退役。详情请参阅其 阁楼页面。 文档主页 Sqoop 用户指南 (v1.4.7) Sqoop 用户指南 (v1.4.7) 目录 一、简介 2. 支持的版本 3. Sqoop 发布 4. 先决条件 5. 基本用法 6. Sqoop 工具 6.1. 使用命令别名 6.2. 控制 Hadoop 安装 6.3. 使用通用参数和特定参数 6.4. 使用选项文件传递参数 6.5. 使用工具 7. sqoop-import 7.1. 目的 7.2. 句法 7.2.1. 连接到数据库服务器 7.2.2. 选择要导入

扛着锄头的码农 2123

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

HIVE CLOB字段处理

在将数据由oracle数据库导入到Hive时,发现

在路上 1万+

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

Sqoop数据类型映射:原理剖析与常见转换问题解决

Sqoop提供了几个关键参数来干预默认的映射行为。Sqoop的数据类型映射是连接异构存储的桥梁,理解其原理能帮助我们快速定位并解决数据迁移中的各种"怪象"。避坑指南时间类型优先转String:如果只是做离线分析,直接使用将时间列转为String,避免复杂的毫秒转换。高精度DECIMAL启用Avro:并添加参数。BIT字段按需覆盖:根据下游需求决定是保留true/false还是转为1/0。导出时明确映射:从Hadoop导出到数据库时,如果遇到类型不匹配,优先考虑明确指定目标Java类型。测试先行。

✨ 欢迎来到【Seal ^_^ 的优快云博客】!✨ 1893

Sqoop导入时注意事项

参考:http://blog.youkuaiyun.com/zleven/article/details/53781111 导入时需要注意: 1)数据库表名需要大写;  我试小写好像也可以 不知道是不是版本问题 Imported Failed: There is no column found in the target table xxx. Please ensure th

千里之行始于足下 2717

Sqoop大数据传输工具:原理、优化与实战

数据迁移是大数据处理中的基础环节,传统ETL工具在处理海量数据时面临性能瓶颈。Apache Sqoop作为Hadoop生态中的专用数据传输工具,通过MapReduce并行计算模型实现高效批量传输,支持全量与增量同步,自动完成关系型数据库与Hadoop系统间的数据格式转换。其核心价值在于解决企业级数据仓库初始化、周期性数据同步等场景下的效率问题。通过合理配置并行度、选择压缩存储格式等优化手段,可进一步提升传输性能。结合Hive、Oozie等生态组件,Sqoop能构建完整的数据管道,满足数据仓库、数据分析等大数

weixin_30764883的博客 403
上一篇: Maven3.6.3镜像文件配置
下一篇: DataX之读取MySQL数据
小成大数据
博客等级 码龄9年 4229粉丝 169原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小成大数据

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值