datax 从oracle迁移到es中

批量处理优化：batchSize与性能提升
最新推荐文章于 2023-04-24 22:16:31 发布
原创 最新推荐文章于 2023-04-24 22:16:31 发布 · 1.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#html #java-ee #servlet

文章探讨了数据处理任务中batchSize对读写速度的影响，发现batchSize设置为十万时比一万快五倍。同时提到，尽管尝试通过增加channel线程和调整JVM内存至4G，但速度提升并不明显。

任务启动时刻                    : 2023-04-20 19:34:56
任务结束时刻                    : 2023-04-20 19:56:22
任务总计耗时                    :               1285s
任务平均流量                    :            5.07MB/s
记录写入速度                    :          24522rec/s
读出记录总数                    :            30457190
读写失败总数                    :                   0

经过对比测试，读写速度和batchSize有关，我的表字段少，batchSize批处理提交设置成十万，比一万要快五倍，

"batchSize": 100000,

channel 这个配置多线程，输出日志还是job0,查看线程也没有变化，速度也没有什么变化

"channel": 8 

设置内存，jvm默认是1G，设置4G之后，查看内存使用多了，但是速度也没有变化

python E:\ruanjian\JAVA\datax\datax\bin\datax.py --jvm="-Xms4G -Xmx4G" 

 

小瑞
关注
使用datax 把数据从oracle导出到elasticsearch中
HI,我是小瑞！
04-20 1431
E:\ruanjian\JAVA\datax\datax ， YOUR_JOB.json 因为datax会自动从github拉取对应插件的json的模版给我们。长久解决， https://cloud.tencent.com/developer/article/2084809 修改window编码。打开官网 https://www.python.org/downloads/datax 下载后解压至本地某个目录，进入bin目录，即可运行同步作业。执行转出到 es 命令。
DATAX数据同步工具
weixin_43930865的博客
05-30 2460
1、DataX完成单个数据同步的作业，我们称之为Job，DataX接受到一个Job之后，将启动一个进程来完成整个作业同步过程。DataX Job模块是单个作业的中枢管理节点，承担了数据清理、子任务切分(将单一作业计算转化为多个子Task)、TaskGroup管理等功能。2、DataXJob启动后，会根据不同的源端切分策略，将Job切分成多个小的Task(子任务)，以便于并发执行。Task便是DataX作业的最小单元，每一个Task都会负责一部分数据的同步工作。
logstash5.6.1向es导入oracle数据库数据
09-29
资源主要能用于使用logstash将oracle数据导入到es中，logstash的版本为5.6.1
Datax将Oracle数据导入ElasticSearch7完成教程
十步杀一人-千里不留行
07-21 3027
网上关于此方面的内容较少，而且比较零散，正好项目中需要对ES7做预研，所以整理出了这篇文章。 ElasticSearch版本为7.13.2 分如下几个主题： 1.Datax的es导入插件elasticsearchwriter 1.1.从datax的github地址（https://github.com/alibaba/DataX）下载源码工程（Datax-master） 工程内容很多，如果在idea中构建，需要的时间比较长，需要耐心等待。如果不需要构建，那直接在文件夹中打开文件，进行第2步的操作。
datax mysql到oracle_DATAX 同步mysql 数据到ES步骤
weixin_34718952的博客
02-01 433
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能最新的版本已经指出 ES 记录一下步骤环境要求：LinuxJDK1.8Python2.6wget http:/...
datax-es:从mysql导入es 重写代码
05-16
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步...
使用datax将postgresql或者greenplum中的数据同步到elasticsearch
HiterCoder
02-06 2428
1、使用datax工具将postgresql或者greenplum数据库中的数据同步到elasticsearch中。DataX目前已经有了比较全面的插件体系，主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入，目前支持数据如下图： 类型数据源Reader(读)Writer(写)文档 RDBMS 关系型数据库 MySQL √ √ 读 、写 O...
总结：在Linux上通过datax同步Oracle数据到tidb上（包含Linux上部署oracle，tidb，mysql）
qq_44767605的博客
12-29 1035
datax mysql oracle tidb
使用datax将mysql数据同步到ES 附elasticsearchwriter插件
weixin_45433648的博客
11-02 4545
使用datax将mysql数据同步到ES 附elasticsearchwriter插件dataxelasticsearchwriter插件编译过程elasticsearchwriter网盘 最近在准备datax相关资料 顺便把我之前遇到的问题分享一下 datax DataX 是阿里开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 github上教程写的很详细。 链接: h
【学习笔记】异构数据源之间的数据同步工具-DataX
陈小超的技术博客
11-04 1532
【背景】近期一个项目涉及Oracle和阿里巴巴的数据库OceanBase之间数据同步，需要一个工具来实现2种数据源之间的数据同步方案，客户需求是离线同步即可，刚好DataX是开源的，能够满足这个需求。 【信息来源】这个博客写得非常好。手打copy一份，加深自己的印象。 https://www.cnblogs.com/jiangbei/p/9430476.html DataX是什么...
OracleToElasticSearch:将数据从Oracle数据库拉至Elastic Search
05-16
使用Oracle QRN 给定的库为现有系统提供Oracle查询通知功能。 它可以通过Zookeeper用作具有领导者选举功能的独立应用程序，并且可以将RowID通知发送到任何消息队列，例如Apollo或Kafka。 队列的使用者可以使用消息并查询数据库以获取更改的行，并提供弹性搜索或执行任何操作。 版本 1.0快照 先决条件 Oracle JDBC 11g驱动程序需要编译项目。 阿帕奇动物园管理员 阿波罗（Apache Apollo） 弹性搜索 核心功能 [qrcn]-从Oracle收集通知，并将通知发送到任何现有队列[apollo]。 [es]-使用者，从Elastic搜索中的队列和索引中收集消息 [es-dto]-通用dto 数据流 跑步 启动Zookeeper 运行com.blu.curator.ExecuteClients 运行com.blu.es.camel.rou
logstash实现oracle到elastsearch的数据迁移
我是xxxx
04-24 541
logstash实现增量数据抽取 logstash实现嵌套索引抽取
使用 DataX将数据从MySQL导入ES 7.6.2
assember的博客
01-21 1550
使用 DataX将数据从MySQL导入ES 介绍 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。 官方文档：DataX 使用说明 方法一、直接下载DataX工具包：DataX下载地址 下载后解压至本地某个目录，进入bin目录，即可运行同步作业： $ cd {YOU
金仓数据库 Oracle至KingbaseES迁移最佳实践(2. 概述)
arthemis_14的博客
07-27 468
这些工作量主要来源于在数据类型、SQL语言、PL/SQL语言、甚至客户端应用编程接口等诸多方面对两个数据库所进行的、大量的语法或功能的对齐处理。通过上述工具，用户可连接数据库服务器，运行数据库实用程序，发送SQL语句，运行SQL脚本，或运行KingbaseES数据库管理命令实施数据库管理等。不仅如此，KingbaseES对OraclePL/SQL中使用的复杂数据类型也提供了兼容性支持，这些类型如Oracle的。此外，对未提供原生支持的Oracle功能，KingbaseES也给出了相应的移植建议。...
Oracle 数据怎么实时同步到 Elasticsearch | 亲测干货建议收藏
java李阳勇的博客
09-02 7064
摘要： 很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题，同构数据还相对容易，遇上异构数据、表多、数据量大等情况就难以同步。我自己亲测了一种方式，很快实现了Oracle 数据实时同步到 Elasticsearch，跟大家分享一下，希望对你有帮助。 Oracle 数据实时同步到 Elasticsearch 一般是用来做全文检索。本文 Tapdata Cloud为例，这个工具是免费的，亲测效果尚可、下面就给大家具体演示操作一下吧 第一步：配置 Oracle 连接 点击 ..
【数据工程技术】使用DataX把odps同步到elasticsearch
喜欢吃一口烤肉的啵啵
04-19 3339
下载工具地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 该工具默认没有带elasticsearchwriter插件，需要下载源码编译。 git clone https://github.com/alibaba/DataX.git 进入目录修改pom文件只留下 elasticsearchwriter 模块，然后...
从Oracle导入数据到ElasticSearch
热门推荐
chroje的博客
05-22 1万+
使用工具是logstash6.2.4https://www.elastic.co/cn/首先要知道的是，logstash抽取Oracle的数据是通过追踪某一个递增列实现增量导入的，所以就要求在查询结果有一个递增列，这并不是说需要一个自动增长列，因为在Oracle中，rownum可以作为查询结果中的一个递增列，如SELECT * FROM(SELECT NP.*, ROWNUM RN FROM (S...
利用LogStash同步ORACLE数据至ES
h_big_tiger的博客
11-13 7075
1、LogStash 1.1下载Logstash Wget https://artifacts.elastic.co/downloads/logstash/logstash-6.5.4.tar.gz 1.2项目结构 解压缩后项目结构为： 其中我们需要手动添加oracle的jar包作为logstash的驱动。 1.3修改配置文件 作用是：每秒增量更新，每分钟进行一次全量更新 删除的话，目前logs...
Flink CDC实时抽取Oracle数据存入ES
jiangxilg的专栏
03-15 3597
实践环境 Flink：1.13.5 Oralce：Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 flink-sql-connector-oracle-cdc-2.1.1.jar flink-sql-connector-elasticsearch7_2.11-1.13.2.jar 下载以下 jar 包到 <FLINK_HOME>/lib/
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值