DataX之读取Oracle数据

DATAX 数据迁移 oracle-oracle 阅读详情

**1、编写脚本read-oracle.json

{
    "job": {
        "setting": {
            "speed": {
                 "byte": 1048576
            },
                "errorLimit": {
                "record": 0,
                "percentage": 0.02
            }
        },
        "content": [
            {
                "reader": {
                    "name": "oraclereader",
                    "parameter": {
                        "username": "用户名",
                        "password": "密码",
                        "column": [
                            "ID","DYLYLQXSCWTBAID","CPMC","CPBAH","WTQX","LASTDATE","DATA_UP_UUID","DATA_UP_TIME","DATA_UP_STATUS"
                        ],
                        "connection": [
                            {
                                "table": [
                                    "TEST"
                                ],
                                "jdbcUrl": [
				    "jdbc:oracle:thin:@IP:ORCL"
                                ]
                            }
                        ]
                    }
                },
               "writer": {
                    "name": "streamwriter",
                    "parameter": {
                        "print": true
                    }
                }
            }
        ]
    }
}

2、执行脚本**

/datax/bin/datax.py ./read-oracle.json
dataX案例 从Oracle中读取数据(自定义sql语句)存到MySQL中 OracleReader 插件官方详细说明https://github.com/alibaba/DataX/blob/master/oraclereader/doc/oraclereader.mdmysqlwriter 插件官方详细说明https://github.com/alibaba/DataX/blob/master/mysqlwriter/doc/mysqlwriter.md代码示例,编写文件 oracle_mysql.json { "job": { "content": 阅读详情

相关推荐

datax oracle to oracle增量同步

关于增量更新 DataX 支持多种数据库的读写, json 格式配置文件很容易编写, 同步性能很好, 通常可以达到每秒钟 1 万条记录或者更高, 可以说是相当优秀的产品, 但是缺乏对增量更新的内置支持。 其实增量更新非常简单, 只要从目标数据库读取一个最大值的记录, 可能是 DateTime 或者 RowVersion 类型, 然后根据这个最大值对源数据库要同步的表进行过滤, 然后再进行同步即可。 由于 DataX 支持多种数据库的读写, 一种相对简单并且可靠的思路就是: 1.利用 DataX 的 D

hbhe0316的专栏 2523

dataX案例 从Oracle中读取数据(自定义sql语句)写入到hdfs上

OracleReader 插件官方详细说明https://github.com/alibaba/DataX/blob/master/oraclereader/doc/oraclereader.mdHdfsWriter插件官方文档,有介绍各个参数的说明https://github.com/alibaba/DataX/blob/master/hdfswriter/doc/hdfswriter.md代码示例,编写oracle_hdfs.json文件 { "job": { "conten

小哇 1711

科研绘图必备:Adobe Illustrator 高效排版技巧全解析

本文详细解析了Adobe Illustrator在科研绘图中的高效排版技巧,帮助科研人员提升论文图表质量。从图片预处理、统计图表优化到精准对齐和期刊投稿前的终极检查,全面覆盖AI在科研绘图中的关键应用场景,确保图表符合期刊要求,提升投稿成功率。

weixin_26767391的博客 347

datax之oraclereader读取时间类型字段问题学习

众所周知 hive是字段类型不敏感的,比如date 2022-01-01 和string 2022-01-01 在大多数情况下都是可以呼唤的。而且经过我的测试 oracle的date 和timestamp类型 对应的都是 93也就是timestamp,所以datax在对oracle取数的时候,这两个类型是区分不了的。所以我们一般来说看到这个date 数值就是年月日,但是因为工具看到的也不同 我用dbeaver看到的如上,同事用的哪个工具忘了如下。如果你想看到年月日时分秒,那么datax就是这么做的。

cclovezbf的博客 2009

Python实战:5分钟搞定N-CMAPSS航空发动机数据集解析(附完整代码)

本文提供了一份针对N-CMAPSS航空发动机数据集的快速解析实战指南。通过Python的h5py和Pandas库,详细演示了如何高效读取HDF5格式文件、理解数据结构、提取关键特征(如传感器数据与剩余使用寿命RUL),并整合为可用于预测性维护分析的DataFrame,帮助研究者和工程师快速上手这一重要的工业时序数据集。

weixin_29083373的博客 281

Zotero内存占用与存储优化:从根源解决卡顿与空间不足

文献管理软件在学术工作中扮演着重要角色,其核心原理是通过数据库管理元数据与附件文件,实现文献的快速检索与组织。然而,随着文献库规模增长,软件的资源管理机制可能面临挑战,尤其是内存占用与存储空间优化问题。从技术价值看,高效的附件管理策略不仅能提升软件响应速度,还能确保数据安全与可移植性。在实际应用场景中,研究者常遇到软件卡顿、存储目录膨胀等痛点,这通常与附件存储模式、缓存机制及数据库维护有关。本文聚焦于Zotero这一主流工具,针对其内存占用高、文件无法删除等常见问题,提供了外置存储、链接附件、数据库维护等系

weixin_34209060的博客 482

【转】dataX简介

本文为转载文,原文链接为https://blog.youkuaiyun.com/u014646662/article/details/82792725 一. DataX3.0概览 二、DataX3.0框架设计 三. DataX3.0插件体系 四、DataX3.0核心架构 五、DataX 3.0六大核心优势 对人工智能感兴趣的同学,可以点击以下链接: 现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博...

hero_xsx的博客 898

QTest 单元测试框架及单元测试思考

qt 单元测试框架 QTEST 及思考

一个老菜鸟的学习分享 1万+

DataX之读写Oracle数据

1、编写脚本oracle-to-oracle.json { "job": { "setting": { "speed": { "channel": 1 } }, "content": [ { "reader": { "name": "oraclereader",

docsz的博客 1579

V2签名预装失败原因及解决方案

GOOGLE最新的GTS要求targetSdkVersion 大于30的APK必须使用V2及以上签名。 但实际在预装过程中,GTS测试会失败。 后面发现这是由于预装方式的原因造成的。原来的预装方式是使用APK,指定APK使用预签名的方式。Android.mk如下: LOCAL_PATH := $(call my-dir) include $(CLEAR_VARS) LOCAL_MODULE := DKTest LOCAL_MODULE_CLASS := APPS LOCAL_MODULE_TAGS

zyfzhangyafei的专栏 6306

CONN工具箱分析fmri数据笔记1

前言一、安装二、预处理三、去噪 前言 CONN:functional connectivity toolbox,是基于MATLAB和SPM的一个对功能磁共振数据进行分析的一个工具箱。可以进行以下分析: Seed-based correlations (SBC), ROI-to-ROI correlations, graph analyses, Independent component analyses(group-ICA), Masked (ICA) Amplitude of Low-Frequency.

weixin_52073820的博客 6587

DataX和Oracle使用案例

DataX和Oracle使用案例

优快云2022博客之星Top39;华为云博主7&,优快云、稀土掘金、微信公众号、阿里云开发者社区、腾讯云社区、博客园、知乎、51CTO同名博主WHYBIGDATA; 7997

【SMPL简介】SMPL: A Skinned Multi-Person Linear Model【源码复现】

SMPL是一种3D人体建模方法.在数字人或者人物角色三维重建领域有着广泛应用支持人体的各种形状及动作可以简单理解为通过训练获取的人物模型SMPL 输入是:姿态shape vectorβ\betaβ+ 影响动作Pose的参数θ\thetaθ输出是: 各种变化后vertex顶点的数据作者:Loper, Matthew and Mahmood, Naureen and Romero, Javier and Pons-Moll, Gerard and Black, Michael J.

zik的博客 3372

datax读取oracle数据少,DataX实现oracle到oracle之间数据传递

【IT168技术】首先需要注意的是DATAX是通过JDBC的方式读取ORACLE数据,然后通过OCI的方式写数据,DX也可以通过JDBC写的方式进行,但是OCI比JDBC速度更快。进入DataX安装目录的bin目录,执行命令./datax.py -e输入交换数据数据库对应的代码,它会自动生成相应的xml配置文件编辑配置文件参数,有"?"的是必须配置的,默认的可以保持不变执行代码:vi /home...

weixin_30018111的博客 990

零基础速成simulink代码生成——stateflow基础3

此专栏面向嵌入式工程没有matlab开发经验的人,可以快速学习和实践这门技术。MDB技术,越来越成熟和普遍,从手写代码转到基于模型开发已经是大势,不仅减少开发周期,还增加代码的复用性。汽车领域、医疗和算法建模广泛使用。

不断debug,优化中…… 1712

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

Java大数据-DataX从 Oracle 中读取数据存到 MySQL、读取 Oracle 的数据存入 HDFS 中

一、读取数据存到 MySQL 1.MySQL 中创建表 [oracle@hadoop102 ~]$ mysql -uroot -p000000 mysql> create database oracle; mysql> use oracle; mysql> create table student(id int,name varchar(20)); 2.编写 datax 配置文件 [oracle@hadoop102 ~]$ vim /opt/module/datax/job

godkzz的博客 1944

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

通过DataX读取Oracle数据存入MySQL遇到连接不上的问题

test connection of [jdbc:oracle:thin:xxx:1521:orcl] failed, for Code:[ORACLEErrCode-02], Description:[数据库服务的IP地址或者Port错误,请检查填写的IP地址和Port或者联系DBA确认IP地址和Port是否正确。但是我发现我写的json配置文件IP和Port都没问题,最后发现原来是Oracle登录的时候没有开启监听服务。开启监听服务之后就顺利的把数据导入到mysql和hdfs上了。

even_zhang1001的博客 891

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

DataX(6):从Oracle中读取数据存到MySQL

【代码】DataX(6):从Oracle中读取数据存到MySQL。

u013938578的博客 637

DataX实现oracle到oracle之间数据传递

文章讲的是DataX实现oracle到oracle之间数据传递,首先需要注意的是DATAX是通过JDBC的方式读取ORACLE数据,然后通过OCI的方式写数据,DX也可以通过JDBC写的方式进行,但是OCI比JDBC速度更快。   进入DataX安装目录的bin目录,执行命令   ./datax.py -e   输入交换数据数据库对应的代码,它会自动生成相...

weixin_33714884的博客 3382

大数据工具之DataX

DataX简介 DataX框架设计 DataX3.0插件体系 工具部署 三种案例实操 stream2mysql mysql2hdfs 拓展 DataX简介 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(OD...

weixin_44132035的博客 949

数据仓库ETL之DataX(一)简介

简介 ETL,使用ETL工具将数据从数据源端(Extracting,Transform,Loading),抽取,传输,加载同步到目标端的过程。 dataX是阿里巴巴内部被广泛使用的离线数据同步工具,实现包括MySQL,Oracle,SqlServer,PostgreSQL,HDFS,Hive,ADS,HBase,TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。 DataX本身作为数据同步框架,将不同数据源的同步抽象为从源头数据源读取数据的R

weihao_的博客 1933

Datax数据采集

GitHub - WeiYe-Jing/datax-web: DataX集成可视化页面,选择数据源即可一键生成数据同步任务,支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源,批量创建RDBMS数据同步任务,集成开源调度系统,支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。datax-web是基于datax进行的二次开发,提供了一个可视化web页面,方便开发人员定义datax任务,并且能自动生成json文件。

Ashenlex的博客 1894

【学习笔记】异构数据源之间的数据同步工具-DataX

【背景】近期一个项目涉及Oracle和阿里巴巴的数据库OceanBase之间数据同步,需要一个工具来实现2种数据源之间的数据同步方案,客户需求是离线同步即可,刚好DataX是开源的,能够满足这个需求。 【信息来源】这个博客写得非常好。手打copy一份,加深自己的印象。 https://www.cnblogs.com/jiangbei/p/9430476.html DataX是什么...

陈小超的技术博客 1606

DataX 数据全量,增量同步方案

关于DataX 增量更新实现 注:参考来源文章 增量更新总体思路:从目标数据库读取一个最大值的记录,可以是DataTime 或者 RowVersion 类型,然后根据这个最大值对源数据库要同步的表进行过滤,然后再进行同步即可。 由于DataX 支持多种数据库的读写,一种相对简单并且可靠的思路就是: 从csv 文件读取目标数据库上次抽取数据的一个最大值; 动态修改json配置文件(增加过滤条件...

袭明君的专栏 2万+

datax从TDH同步数据到oracle的json模板

1、json模板: { "job": { "setting": { "speed": { "byte": 104857600 }, "errorLimit": { "record": 0 } }, "content": [{ "reader": { "name": "hdfsreader", "parameter": { "column": [{ "index": 0, "type": "str

记录日常开发过程中遇到的一些问题 1245

同步工具datax,好用又方便,上手顶呱呱

datax的上手操作datax的介绍安装开始使用 datax的介绍 1,DataX 是阿里开源的一个异构数据源离线同步工具,为了解决包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 2,1)设计的目的: 2)设计的框架: reader:数据采集 writer:数据写入 framework:连接 3)原理: 安装 1, 官方地址 下载地址:http://datax-opensource.oss-cn-hangzh

leaxning的博客 1632
上一篇: DataX之读取MySQL数据
下一篇: DataX之读取Hive数据
小成大数据
博客等级 码龄9年 4229粉丝 169原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小成大数据

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值