Datax抽取oracle大表问题

最新推荐文章于 2024-04-22 16:46:36 发布
最新推荐文章于 2024-04-22 16:46:36 发布
阅读量1.8k 收藏 2
点赞数
CC 4.0 BY-SA版权
文章标签： sql hive linux 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/aline12/article/details/121376427

最近经常用到datax从oracle抽取大表到数仓hive

当表的数据量超过千万 很容易卡住 一直抽不过来

经过测试可以在querysql上加并行抽取

/*+ parallel(n) */  

基于并行查询要启动并行进程、分配任务与系统资源、合并结果集
一般而言主要在如下情况使用parallel
1.表的数据量很大,超过一千万; 
2.数据库主机是多个CPU;
3.系统的当前负载较低;

但这个容易直接把资源占死 导致别人无法抽取业务数据库 需要做测试再正式上线

datax从oracle抽数,Datax 按照时间戳的定时增量抽取脚本
weixin_34062155的博客
04-09 1852
使用技术： Datax /crontab /python大概看了下python的语法，因为需要增量做数据抽取，手上暂时没有趁手的兵器，就先用datax吧。 网上有其他方案https://blog.youkuaiyun.com/quadimodo/article/details/82186788，貌似写死的执行时间，没采用这种方法。1. 前提步骤：安装datax及配置datax目录：/home/datax/da...
datax hive抽到oracle
jtpython666的博客
05-12 345
datax hive-oracle { "job": { "jobId": "${jobId}", "jobVersionId": "${jobVersionId}", "executeId": "${executeId}", "serverPort": "${serverPort}", "msg": "${msg}", "setting": { "speed": { "channel": "1" },
datax3.0基于时间离线抽取2亿多行大小为100GB的业务大表
weixin_41561946的博客
06-10 1348
项目背景： 从gbase8a中抽取为业务大表到mysql数据库中，mysql中的业务表多了两个字段，之前的抽取方式是基于rowid，但这张表业务经过了delete方式删除，目前这张表有2亿多的条记录，但rowid达到27亿之多，后面查看该到有时间字段，于是决定通过时间字段按天进行抽取。 系统环境： gbase8a 集群 mysql5.6.46主从 实现步骤 1、查询需要同步的列字段 select group_concat(concat(’"’,column_name,’"’)) from informati
DataX抽取oracle数据到hive，数据量变多
一亿年开发经验
05-19 688
数据抽取工具DataX数据源oracle 数据量 4184500目标表hive 数据量 4184555抽取后多了55条数据。
Datax离线数据抽取(Oracle--MySQL)
cny0120的博客
01-29 645
Datax下载地址：https://github.com/alibaba/DataX Datax MySQL读： https://github.com/alibaba/DataX/blo...
Java大数据-DataX从 Oracle 中读取数据存到 MySQL、读取 Oracle 的数据存入 HDFS 中
godkzz的博客
01-04 1859
一、读取数据存到 MySQL 1.MySQL 中创建表 [oracle@hadoop102 ~]$ mysql -uroot -p000000 mysql> create database oracle; mysql> use oracle; mysql> create table student(id int,name varchar(20)); 2.编写 datax 配置文件 [oracle@hadoop102 ~]$ vim /opt/module/datax/job
oracle 视图内容抽取,海量数据切分抽取的实践场景(r11笔记第43天)
weixin_33507838的博客
04-05 484
如果一个大表要抽取数据导出成csv文件，我们有什么策略，如何改进。一、问题背景今天开发的同学找到我，他们需要做一个数据统计分析，需要我提供一些支持，把一个统计库中的大表数据导出成文本提供给他们。这个表有多大呢，数据量有4亿+，而且使用了分库分表的策略，所以看起来这不是一个简单的问题。简单来说就是下面的架构方式，在右侧的目标端存在的都是物化视图，存在12个子集，也就意味着有12个物化视图存在。如何抽...
3、通过datax同步oracle相关-oracle到hdfs
05-29
在Oracle到HDFS的同步场景中，DataX扮演着ETL（Extract-Transform-Load）的角色，将Oracle中的数据抽取出来，经过必要的转换，然后加载到HDFS中。 配置文件模板是DataX执行任务的基础，以下是一个基本的配置示例： ...
datax 抽取oracle数据字段有分隔符
08-02
在DataX抽取Oracle数据时，如果字段中存在分隔符，可以采取以下解决方案。...综上所述，可以通过修改建表分隔符、指定分隔符、替换行分隔符以及指定筛选条件等方式解决DataX抽取Oracle数据字段中存在分隔符的问题。
datax oracle to oracle增量同步
hbhe0316的专栏
10-11 2358
关于增量更新 DataX 支持多种数据库的读写， json 格式配置文件很容易编写， 同步性能很好， 通常可以达到每秒钟 1 万条记录或者更高， 可以说是相当优秀的产品， 但是缺乏对增量更新的内置支持。 其实增量更新非常简单， 只要从目标数据库读取一个最大值的记录， 可能是 DateTime 或者 RowVersion 类型， 然后根据这个最大值对源数据库要同步的表进行过滤， 然后再进行同步即可。 由于 DataX 支持多种数据库的读写， 一种相对简单并且可靠的思路就是： 1.利用 DataX 的 D
oracle order by效率慢_DataX迁移oracle数据到PostgreSQL
weixin_39767983的博客
12-03 851
我们在迁移Oracle到PostgreSQL的过程中，遇到了一些不小的挑战。使用Ora2PG工具迁移数据遇到的小问题比较多，同时在迁移LOB字段的时候，性能表现不够理想，于是我们采用了DataX来做数据迁移。[DataX3.0概览]先介绍一下DataX，DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台。特点是实现了众多异构数据源之间高效的数据同步功能。我们当前使用ogg软件来...
2021-06-16 datax，running异常一直0 byteSpeed
吃素的哈士奇de博客
06-16 3034
datax，running异常一直0 byteSpeed业务类AbstractScheduler，具体代码业务类AbstractScheduler 业务类AbstractScheduler，具体代码 下面展示一些 内联代码片。 //2021-06-16 wx 为了设置一个时间段，加入一直是running，而且byteSpeed为0，说明卡住了，设置5分钟之后就直接返回failed long finalTime = System.currentTimeMillis()+300000; /*---------
datax3.0 关于 elasticsearch表的数据抽取
curry01100110的博客
11-19 3477
关于使用datax同步数据最重要的是——作业json的编写 参考案列：datax-elasticsearch/elasticsearchreader.md at master · mario1oreo/datax-elasticsearch · GitHub 但是实际操作还是存在一些差异 es的基本语法： 参考：Elasticsearch基本语法 - 半岛弥情 - 博客园 工作上的实践成功案例：es版本号5.4.1 es_to_tdh json： { "job":{ ...
dataxweb 定时任务卡住，一直在执行第一个任务，后面全部失败。
AllenZhagn5的博客
08-17 813
更换数据库驱动（datax目录下两个地方）以及dataxweb。
查询时数据量大的解决方案
最新发布
m0_73774439的博客
04-22 850
前几天在工作上遇到个优化需求，某个接口速度几乎接近了10s，这会严重影响用户操作感受，在开发上也是无法接受的，于是我开始着手进行了接口优化。
记一次datax 打满CPU
xxx
06-01 921
cpu打满
大数据平台建设系列之数据调度-datax实现定时数据增量同步
weixin_36723038的博客
06-30 1285
+、crontab # 每5分钟执行一次shell脚本 */5 * * * * /data/datax/sh/syn_product_summary.sh > /dev/null 2>&1 +、sh 脚本 syn_product_summary.sh #!/bin/bash source /etc/profile # 获取服务器当前时间戳 cur_time=$(date +%s) # 数据起始时间设置为5分钟+1分钟前(允许一分钟内的数据重复推送) start_time=$
datax 实时同步oracle,数据源管理 | 基于DataX组件，同步数据和源码分析
weixin_39564151的博客
04-03 1163
本文源码：[GitHub·点这里](https://github.com/cicadasmile/data-manage-parent) || [GitEE·点这里](https://gitee.com/cicadasmile/data-manage-parent)# 一、DataX工具简介## 1、设计理念DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Orac...
datax的工具配置oracle,完全小白级DataX安装配置过程详解
weixin_39921131的博客
04-03 1266
apt-get install openjdk-7-jdkLinux小白，创建和删除文件夹都现问度娘学会的小白，最近被勒令研究一下DataX，当时一脸蒙X，根本木有听过吖，但是领导吩咐了就得办吖，问了一下度娘，发现这玩意还非要在Linux下安装配置，没办法从安装Linux系统开始干...试坑过程中发现相关的资料和介绍有点儿少，所以决定把每一步都记录下来，希望以后可以帮到其他需要的人...第一步：安...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值