Datax 本地启动调试 mac m1

那后生

已于 2023-03-17 16:01:51 修改

阅读量947

点赞数

CC 4.0 BY-SA版权

文章标签： java

于 2023-03-17 15:57:16 首次发布

本文链接：https://blog.youkuaiyun.com/wangrui1605/article/details/129622602

1 下载源码打包

mvn -U clean package assembly:assembly -Dmaven.test.skip=true

2 配置启动参数

在idea 中找到 com.alibaba.datax.core.Engine 类

右键选择启动参数，按照自己存放datax 的路径修改如下配置

vm option 需要写上你用maven打包后生成的target目录

-XX:+HeapDumpOnOutOfMemoryError
-XX:HeapDumpPath=/Users/wangrui/IdeaProjects/DataX/log
-Ddatax.home=/Users/wangrui/IdeaProjects/DataX/target/datax/datax
-Dlogback.configurationFile=/Users/wangrui/IdeaProjects/DataX/target/datax/datax/conf/logback.xml

program args 写json文件目录

-mode standalone -jobid-1-job /Users/wangrui/IdeaProjects/DataX/target/datax/datax/job/job.json

本地运行成功

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

那后生

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

idea本地debug调试DATAX插件运行

b452608的专栏

01-30

2945

接触datax是看重他的数据采集功能和可以扩展插件的功能，根据官方说明，DATAX是以python来调用插件的运行json配置，但对于二次开发插件的同学来说，需要本地调试。VM options处填入 -Ddatax.home=C:\Users\clj\Documents\DataXPlus\target\datax\datax，具体路径根据你自己项目而定。需要注意的时，这种方式调试如果修改了代码，需要重新在DATAX目录执行打包后，新的代码才能生效，才能进入断点。1.源码部署方式请查阅。

《DataX 安装与简单使用指南》

最新发布

探索技术与实践的旅程，分享编程经验与工具使用心得，助力开发者提升技能。

04-09

537

DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。

参与评论您还未登录，请先登录后发表或查看评论

Datax本地idea测试

jiangjiangaa666的博客

08-17

693

Datax 本地IDEA测试

手把手教程本地调试Datax

fox_233的博客

06-14

1032

使用Datax做数仓同步数据得工具，有时需要自己开发或者修改某个reader或writer插件，那么本地调试就很重要。

DataX 本地调试配置

qq_41613913的博客

07-23

803

根据自己的开发需求，完成了reader、writer、transformer开发后，在ide内通过Engine入口，调试自己的插件和job的json。

datax本地调试配置

weixin_43824520的博客

12-13

1151

配置启动参数 Engine是DataX入口类，该类负责初始化Job或者Task的运行容器，并运行插件的Job或者Task逻辑 VM options -server -Xms1g -Xmx1g -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=D:/IDEAProject/github/DataX-master/target/datax/datax/log -Xms1g -Xmx1g -XX:+HeapDumpOnOutOfMemoryError -X

Datax本地调试和远程

Ray丿雷的博客

08-14

4326

本地调试和远程 1.远程调试如果datax部署在linux服务上，可以通过运行命令添加参数开始远程调试命令如下 python datax.py test.json -d 参数"-d" 是开启远程调试的参数在本地idea新建一个远程调试端口默认是9999，可以在datax.py文件进行设置 2.本地调试本人所知是有两种方式来进行本地调试第一种，通过代码设置在core模块下找到Engine类，这是Datax运行的main方法，在里面添加两行代码，即可开始本地调试参数说明： data

datax-web进行本地代码调试

王傲旗的大数据之路

08-10

1752

如何进行本地对datax-web项目进行Debug 先来思考一个问题：为什么要在本地进行Debug? 答：但凡是结果几天代码的同学都应该明白，我们写完代码之后打成jar包扔到linux服务器中去跑，最多也就看看错误日志出现在了什么地方，但是如果在本地的IDE中进行debug就可以快速的定位到问题！实操一下 1.将最新的dev分支代码拉到本地 2.修改配置文件 admin分支下的bootstrap.properties文件配置本地datax的地址 3.启动项目首先启动admin模块下的启动类然

DataX(一)：编译运行

shaobing_的博客

05-24

549

运行：/opt/homebrew/bin/python3 datax.py stream.json。配置文件core/target/datax/bin/stream.json文件。注意datax.py目录在core目录下，这里以stream进行测试。本人开发环境Macbook M1，一切顺利～接下来可以愉快的进行Debug啦。

datax 打包本地debug 执行

1.01^365

07-31

668

我需要将/Users/trueland/Documents/soft/datax/plugin/reader/elasticseachreader 删除将项目中的esreader target/datax/elasticsearchreader 复制到/Users/trueland/Documents/soft/datax/plugin/reader 下即可。5.注意项，datax 运行加载的代码是datax home 下打包好的代码，不是datax 启动项目下的代码。1.全量打包 datax。

Datax入门

zlhblogs的博客

04-20

322

DataX 是阿里巴巴开源的离线数据同步工具，实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作。

mac 用datax从csv文件导入mysql

lbl251的博客

06-07

1511

1、准备datax（没有的自己去github上面下载），建好mysql的表 mysql (注意框中的表与类型，与2中读取的有哪些不一样) 2、job文件(放到job目录下，我的文件名 job4.json) { "job": { "content": [ { "reader": { "name": "txtfilereader", "parame

mac上datax启动报错配置信息错误，您提供的配置文件[/xx/datax/plugin/reader/.DS_Store/plugin.json]不存在

寂夜了无痕的博客

08-21

1064

mac上datax启动报错配置信息错误，您提供的配置文件[/xx/datax/plugin/reader/.DS_Store/plugin.json]不存在

mac运行datax，配置文件报错

dandan201212的博客

05-17

958

您提供的配置文件[/datax/plugin/reader/.DS_Store/plugin.json]不存在. 请检查您的配置文件只需要在终端中，将文件夹下的.DS_Store 删除即可，然后不要再 finder 中再次打开该文件夹

datax开发环境调试及 channel与最终的task并行度解释

huni的博客

08-31

839

datax task并行度源码解读，datax本地调试

DataX的安装及使用

weixin_44624060的博客

07-11

932

DataX的安装及使用文章目录DataX的安装及使用Hive通过外部表与HBase表关联hive建表语句：hbase表直接执行查询语句：DataX的安装DataX的使用stream2stream编写配置文件stream2stream.json执行同步任务执行结果mysql2mysql编写配置文件mysql2mysql.json执行同步任务mysql2hdfs编写配置文件mysql2hdfs.jsonhbase2mysqlmysql2hbaseDataX-web的安装1、使用idea同步源代码2、在mysq

Datax后端项目Idea下调试：

03-14

1098

datax 修改Run/Debug Configurations 配置

DataX 源码调试及打包

程序员大佬超的博客

12-08

4002

除了前文介绍的我们可以直接安装使用外，还可以下载源码打包，并且对源码进行适当修改。

Datax开启远程调试

gaojingsong的专栏

12-02

682

备注：1、先运行服务端，再运行开发工具debug， 2、服务端和debug源代码，版本必须一致。一、服务端设置，就一个命令代-d参数即可，进入debug等待状态。3、点击debug按钮，即可开始远程调试。2、选择远程模式，填入IP和端口号。点击+，选择remote。

datax本地打包

04-03

### DataX 的本地打包教程 #### 配置 Maven 和环境准备为了成功完成 DataX 的本地打包，首先需要确保开发环境中已经正确安装并配置了 Maven 工具。推荐使用的 Maven 版本为 3.6.x[^2]，因为更高版本可能会遇到 `assembly` 插件兼容性问题。 #### 下载 DataX 源码通过访问 GitHub 上的官方仓库地址下载 DataX 的源码文件。可以通过克隆 Git 仓库的方式获取最新代码： ```bash git clone https://github.com/alibaba/DataX.git ``` #### 编辑 pom.xml 文件在某些情况下，可能需要修改项目的 `pom.xml` 文件来调整依赖项或者排除不必要的模块。例如，在特定场景下可以注释掉未被实际使用的组件以减少最终构建的 jar 包大小[^1]。 #### 使用 Maven 进行编译和打包执行以下命令来进行完整的清理、测试跳过以及最终的打包过程： ```bash mvn -U clean package assembly:assembly -Dmaven.test.skip=true ``` 这条指令的作用如下： - `-U`: 强制更新快照版本(SNAPSHOT)依赖。 - `clean`: 清理之前的构建产物。 - `package`: 构建项目的主要目标（通常是 JAR 或 WAR 文件）。 - `assembly:assembly`: 利用 Assembly 插件创建自定义分发包。 - `-Dmaven.test.skip=true`: 跳过单元测试阶段以加快整个流程速度。 #### 常见错误处理如果在上述过程中遇到了任何异常情况，则可以根据具体报错信息逐一排查解决方法。比如当提到高版本 Maven 可能引发失败时，建议降级至稳定支持范围内的工具链设置[^3]。 --- ### 数据同步框架扩展注意事项对于希望基于原始 source code 实施定制化功能的需求而言，除了掌握基础的 build pipeline 外还需要深入理解各个子模块的功能划分及其相互间协作机制。这有助于更精准定位哪些部分适合改动而不会破坏整体稳定性。