DataX之读取MySQL数据

Datax从mysql同步数据到mysql 在实际使用Datax的时候,可能会使用Datax同步mysq数据到mysql,实现数据库跨库同步或者多个mysql之间相互同步,那么怎么实现呢?我们一步步来实现(基于Datax 3.0.0) 阅读详情

1、编写read-mysql.json脚本

{
    "job": {
        "setting": {
            "speed": {
                 "channel":1
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "用户名",
                        "password": "密码",
                        "connection": [
                            {
                                "querySql": [
                                    "select * from emp_base_info where emp_city_code='130100';"
                                ] ,
                                "jdbcUrl": [
                                    "jdbc:mysql://IP:3306/test"
                                ]
                            }
                        ]
                    }
                },
               "writer": {
                    "name": "streamwriter",
                    "parameter": {
                        "print":true
                    }
                }
            }
        ]
    }
}

2、执行脚本

/datax/bin/datax.py ./read-mysql.json
dataX案例 读取mysql(通过表名或自定义sql语句)数据写入到hdfs中 (txt或orc存储,gzip或snappy压缩) 实现原理 MysqlReader插件实现了从Mysql读取数据。简而言之,MysqlReader通过JDBC连接器连接到远程的Mysql数据库,并根据用户配置的信息生成查询SELECT SQL语句,然后发送到远程Mysql数据库,并将该SQL执行返回结果使用DataX自定义的数据类型拼装为抽象的数据集,并传递给下游Writer处理。 对于用户配置Table、Column、Where的信息,MysqlReader将其拼接为SQL语句发送到Mysql数据库;对于用户配置queryS... 阅读详情

相关推荐

java调用shell向DataX传参,带where条件,特殊字符

java调用shell命令,在shell命令中调用DataX任务并传递参数。 坑主要在DataX传递参数涉及到特殊字符应该如何处理这块,有时间可以自己试; 没时间可以用我的经验,自己选择;

DataX使用示例

DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS等各种异构数据源之间高效的数据同步功能。 关于原理及优缺点,知乎上有博主描述:https://zhuanlan.zhihu.com/p/81817787 笔者比较赞同 阿里相关文档地址:https://github.com/alibaba/DataX ...

liang_336的博客 3948

LTspice第三方SPICE模型集成全流程指南

SPICE模型是电子电路仿真的核心基础,它通过数学方程描述半导体器件的非线性、温度依赖与寄生特性,决定仿真结果是否具备工程可信度。其技术价值在于 bridging 理论参数与实测行为,显著提升电源、电机驱动及逻辑电路设计的一次成功率。典型应用场景包括IGBT开关损耗分析、LDO瞬态响应验证、CMOS逻辑门传播延迟评估等。而LTspice作为轻量级工业级工具,依赖用户主动集成原厂提供的.subckt或.model文本模型——这正是‘LTspice导入SPICE模型’和‘74HC14 SPICE模型’等高频搜索

weixin_33868027的博客 315

datax安装及批量生成json任务文件,以sqlservrreader和mysqlwriter为例

4. 查看DataX配置文件模板:按自己需要填写reader和writer5. 格式示例"job": {"content": ["reader": {"name": {: ["jdbcUrl": [],"table": ["t_info"],"password""username""sa""where""column": ["id"

Dark_Fairy的博客 3005

手把手教你用PlantVillage数据集搭建农作物病害识别模型(Python实战)

本文详细介绍了如何使用PlantVillage数据集和Python构建农作物病害识别模型。从环境准备、数据获取到模型构建、训练与评估,手把手教你实现一个实用的农业AI应用。特别针对PlantVillage数据集的特点,提供了处理类别不平衡、图像预处理和模型优化的实战技巧,帮助开发者快速掌握农作物病害识别技术。

weixin_29184371的博客 481

医学成像学习笔记(一):核磁共振成像(MRI)k空间为何是图像频谱详解

前言   k空间是核磁共振成像图像重建的核心,可能很多人像笔者一样第一次学时会非常疑惑,为何k空间是图像的频域空间,观其填充过程,明明是空域信号的采样填充呀。网上很少有文章讨论这个问题,所以笔者在此写下自己的理解,供大家参考。 MRI位置编码   现在的MRI一次扫描的是一个断层或者多个断层,所谓断层就是一个有厚度的面,通过z方向梯度场来选择。我们扫描一个断层的目的是为了获得该断层各位置的质子情况,它们携带着组织的性质信息,反应出来的就是信号强度。如果整个断层都采用相同的磁场强度,而我们只能得到一个断

意疏的学习笔记 1万+

Datax 数据增量同步配置

按下图中5个步骤进行配置1.任务类型选DataX任务2.辅助参数选择时间自增3.增量开始时间选择,即sql中查询时间的开始时间,用户使用此选项方便第一次的全量同步。第一次同步完成后,该时间被更新为上一次的任务触发时间,任务失败不更新。4.增量时间字段,-DlastTime='%s' -DcurrentTime='%s' 先来解析下这段字符串1.-D是DataX参数的标识符,必配。

weixin_47444415的博客 8305

《Hadoop大数据技术原理与应用》(第2版)黑马程序员的课后习题答案

《Hadoop大数据技术原理与应用》(第2版)黑马程序员的课后习题答案

qq_36773158的博客 4656

DataX Doriswriter 插件源码编译及从 MySQL读取数据后导入至 Doris 示例

jdbcUrl描述:Doris 的 JDBC 连接串,用户执行 preSql 或 postSQL。必选:是默认值:无loadUrl描述:作为 Stream Load 的连接目标。格式为 “ip:port”。其中 IP 是 FE 节点 IP,port 是 FE 节点的 http_port。,doriswriter 将以轮询的方式访问。必选:是默认值:无username描述:访问 Doris 数据库的用户名必选:是默认值:无password描述:访问 Doris 数据库的密码。

学亮编程手记 1587

基于51单片机的简易计算器设计(原理图+仿真+源代码+参考论文)

本设计以51单片机为核心,矩阵键盘输入数字,通过1602显示屏显示计算结果,能够实现整数的加、减、乘、除四则运算,具备清除功能。

u012759563的博客 7713

WeDetect:基于视觉-语言检索的目标检测新范式

目标检测正从传统回归与分类耦合范式,向开放、灵活、可扩展的多模态检索范式演进。检索式检测(Retrieval-based Detection)将检测任务重构为视觉特征与文本语义的联合匹配过程,依托候选框索引库与双塔架构,天然支持开放词汇、零样本识别与小目标定位。其技术价值在于解耦空间感知与语义理解,消除NMS与anchor匹配等冗余计算,显著提升推理效率与跨场景泛化能力。典型应用场景包括工业质检中的缺陷新增识别、遥感图像小目标检测、低光照鲁棒视觉系统等。WeDetect正是这一范式的代表性实现,深度融合视觉

weixin_30878501的博客 363

Java大数据-DataX读取 MySQL 中的数据存放到 HDFS、读取 HDFS 数据写入 MySQL

一、读取MySQL 中的数据存放到 HDFS官方模板 [atguigu@hadoop102 ~]$ python /opt/module/datax/bin/datax.py -r mysqlreader -w hdfswriter { "job": { "content": [ { "reader": { "name": "mysqlreader", "parameter": { "column": [], "connection": [ { "jdbcUrl": [], .

godkzz的博客 2321

数学建模Matlab算法,第七章 对策论

对策论作为研究竞争与决策的数学理论,从零和对策到非常数和对策,为分析各类博弈问题提供了系统框架。其核心要素包括局中人、策略集和赢得函数,通过稳定解、Nash平衡点等概念揭示竞争规律。该理论广泛应用于经济、军事、政治等领域,不仅提供具体分析工具,更改变了决策思维方式,强调在互动中实现理性选择。对策论既揭示了竞争本质,也凸显合作价值,为解决社会矛盾、促进共赢发展提供了重要启示,在全球化背景下将发挥更大作用。

unber的博客 119

DataX读取MySQL示例

MySQL 容器准备 docker pull mysql:5.6 docker run -p 3306:3306 --name hello_mysql -d -e MYSQL_ROOT_PASSWORD=root mysql:5.6 docker exec -it hello_mysql bash 数据准备 mysql -uroot -proot连入mysql 先建立一个数据库 create database db_datax; use db_datax 再建立表格并插入数据 create

JiajunBernoulli的博客 722

如何将 Fiori Elements Object Page Header 工具栏里按钮用 JavaScript 代码设置成禁用状态

本文介绍了如何在SAP Fiori Elements应用中动态控制Object Page工具栏按钮的可用状态。通过UI5 Inspector工具分析发现,这些按钮的enabled属性都双向绑定到/ui/enabled模型字段。在StatusExt.controller.js中,通过获取按钮ID前缀拼接完整控件ID,使用setEnabled(false)方法即可禁用按钮。关键点包括:1)使用extensionAPI获取视图ID前缀;2)注意事件回调中的this上下文绑定;3)通过修改模型字段可同步更新所有绑定

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 380

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

DataX读取MySQL中的数据存放至HDFS

DataX读取MySQL数据至HDFS

果果的小莴笋 1071

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

datax读取mysql方式_基于 DataX 数据库基础表数据同步

原标题:基于 DataX 数据库基础表数据同步 万标2015年加入去哪儿技术团队。目前在金融事业部/支付中心,测试工程师岗位,对技术有浓厚兴趣。一、 问题及背景在此之前,新增的基础数据在上线后,是通过手工在各测试环境数据库执行 sql 语句的方式来维护的。另外,测试环境基础数据由于测试场景需要被修改,而修改后很有可能不会被恢复到原始值,这样的话可能会导致他人得到的测试结果与期望不一致,需要花不少...

weixin_39881760的博客 854

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Datax读取Hive数据写入到Mysql,并传递日期参数

Datax读取Hive数据写入到Mysql,并传递日期参数 Hive数据的导入导出,一直是在大数据离线批处理任务中必要的操作。不过之前使用Sqoop的可能要占大多数,而在近些年,阿里开源了一款数据导入导出的工具,也就是Datax。Datax是基于python以及json配置文件,对指定的数据进行导入导出,可以指定多种数据源和数据目的地,使用起来也是非常方便。 下面将以一个例子来介绍一下Datax读取Hive数据写入Mysql的配置以及流程: Datax json配置文件 { "job": {

wFitting的博客 3675

【DataX 增量同步】读取Mysql数据到HDFS

如果是第一次操作的同学不知道的可以看我之前写的博客,操作过一次后面基本是相同的了 在目录三:https://blog.youkuaiyun.com/Zsigner/article/details/108362724 1、生成hdfswriter plugins 修改pom.xml //原始的里面是所有很全的,不过一般都是按需install <modules> <module>common</module> <module>.

Zsigner的博客 1494

datax mysql读

我整理的一些关于【MySQL,SQL】的项目学习资料(附讲解~~)和大家一起分享、学习一下:https://d.51cto.com/yOSbkRDataX MySQL 读操作简介 DataX 是一款开源的异构数据传输工具,广泛用于数据的采集、同步与转换。它可以将数据从一个数据源同步到另一个数据源,支持多种数据库类型,包括...

weixin_40980395的博客 304

dataX案例-从mysql读取数据,写入到hbase中

hbase中建表语句,此步骤可选 //建表 create 'ns1:product','f1' //put记录 put 'ns1:product','000','f1:pkid','5000' put 'ns1:product','000','f1:addtime','2020-09-15' put 'ns1:product','000','f1:kind','00010007' put 'ns1:product','000','f1:kindname','红葡萄酒' put 'ns1:product'

小哇 2724

datax读取mysql方式_DataX读取MySQL示例

MySQL容器准备docker pull mysql:5.6docker run -p 3306:3306 --name hello_mysql -d -e MYSQL_ROOT_PASSWORD=root mysql:5.6docker exec -it hello_mysql bash数据准备mysql -uroot -proot连入mysql 先创建一个数据库create database ...

weixin_35714577的博客 996

利用DataX从文本文件读取数据并写入MySQL数据库,但是老是报用户密码错误,但是密码是正确的。

这里很有可能是'root'@'master'对应的密码错误,可以修改一下'root'@'master'的密码。

2301_81122542的博客 449

DataX(4):读取 MySQL 中的数据存放到 HDFS

查看hdfs,文件已经上传。创建handsome表。

u013938578的博客 514

通过DataX读取Oracle数据存入MySQL遇到连接不上的问题

test connection of [jdbc:oracle:thin:xxx:1521:orcl] failed, for Code:[ORACLEErrCode-02], Description:[数据库服务的IP地址或者Port错误,请检查填写的IP地址和Port或者联系DBA确认IP地址和Port是否正确。但是我发现我写的json配置文件IP和Port都没问题,最后发现原来是Oracle登录的时候没有开启监听服务。开启监听服务之后就顺利的把数据导入到mysql和hdfs上了。

even_zhang1001的博客 891

Java大数据-DataX从 Oracle 中读取数据存到 MySQL、读取 Oracle 的数据存入 HDFS 中

一、读取数据存到 MySQL 1.MySQL 中创建表 [oracle@hadoop102 ~]$ mysql -uroot -p000000 mysql> create database oracle; mysql> use oracle; mysql> create table student(id int,name varchar(20)); 2.编写 datax 配置文件 [oracle@hadoop102 ~]$ vim /opt/module/datax/job

godkzz的博客 1944
上一篇: Sqoop处理Oracle大字段BLOB
下一篇: DataX之读取Oracle数据
小成大数据
博客等级 码龄9年 4229粉丝 169原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小成大数据

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值