阿里巴巴同步插件Datax编译打包-maven

本文详细记录了在Datax源码基础上使用Maven打包遇到的困难,包括配置阿里云远程仓库的坑以及如何解决特定jar包下载失败的问题。通过调整<mirrorOf>*</mirrorOf>到<mirrorOf>public</mirrorOf>,并结合多个远程仓库,最终成功打包。同时提醒读者避免使用通配符"*"配置,确保每个仓库能正确生效。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

我发这个博客呢,因为什么呢?就是因为倒腾maven打包,打GitHub上datax源码的包,为什么要这样操作,就是我需要在datax源码的基础上拓展一些东西,我真他妈的生气,搞了大半天。感觉maven真是个大坑啊。。。阿里还是个大坑。。。

原本我对maven不是很了解,只知道配置个本地仓库,配置个阿里云远程仓库就够了,可结果并不是这个样子的。。。。

先上一张成功的图:

哎,,,真可谓是艰辛啊!

 

一直打包为成功的原因是,阿里的远程仓库分为多个,如下图:

有些jar包,并不是在所有的仓库都有的,我刚开始配置maven依赖的时候,配置的是:

<mirror>
    <id>nexus-aliyun</id>
    <mirrorOf>*</mirrorOf>
    <name>Nexus aliyun</name>
    <url>htt

### 配置并运行 DataX-Web 的 Python 脚本 为了在 DataX-Web 中成功配置并运行 Python 脚本,以下是详细的说明: #### 1. 环境准备 确保满足以下依赖条件: - **MySQL**: 版本需为 5.5 或更高版本。如果未安装 MySQL 客户端,则可通过部署脚本来快速初始化数据库[^2]。 - **JDK**: 必须安装 JDK 1.8.0_xxx 及以上版本。 - **Maven**: 至少需要 Maven 3.6.1+ 来构建项目。 - **DataX 和 Python 支持**: - 默认情况下,DataX 使用的是 Python 2.x。如果你希望使用 Python 3.x,则需要手动替换 `datax/bin` 下的三个 Python 文件,并将其替换成位于 `doc/datax-web/datax-python3/` 目录下的相应文件。 #### 2. 替换 Python 启动脚本 由于 DataX-Web 默认调用的是 `python` 命令来执行脚本,而现代环境中通常会同时存在多个 Python 版本(如 Python 2 和 Python 3)。因此需要调整如下设置以兼容 Python 3: - 编辑源码路径中的枚举类定义部分,将默认命令由 `python` 更改为 `python3`。具体操作如下: ```java // 将原有的 GLUE_PYTHON 定义更改为以下形式 public static final GlueTypeEnum GLUE_PYTHON = new GlueTypeEnum( "GLUE(Python)", true, "python3", // 这里从 python 修改为 python3 ".py" ); ``` 上述更改完成后,重新编译整个项目并将生成的新 JAR 包上传至目标服务器中替代旧版的核心组件包 `datax-core-2.1.2.jar`[^3]。 #### 3. 数据库初始化与表结构创建 按照官方文档指引完成必要的 SQL 初始化工作,这一步骤主要涉及以下几个方面: - 创建所需的数据库实例; - 导入建表语句以及初始数据记录; 这些步骤可以通过运行预设好的 SQL 脚本来实现自动化处理。 #### 4. 测试验证流程 当所有前期准备工作都已完成之后,就可以尝试提交一个简单的作业任务来进行测试了。例如编写一段基础的数据迁移逻辑作为样例程序存放在指定位置供后续加载解析之用。 假设我们有一个名为 `example.py` 的简单 Python 脚本用于演示目的: ```python print("This is a test script running via DataX-Web.") ``` 接着,在 Web 控制台界面上新增一项计划安排,设定好触发时间及相关参数选项后保存生效即可观察其实际运作状况。 --- ### 注意事项 在整个过程中需要注意保持各个软件模块之间的版本匹配关系合理恰当以免引发不必要的冲突错误情况发生。另外考虑到不同平台可能存在细微差异之处所以在移植前最好先行查阅相关资料确认无误后再行动作以防万一出现问题难以排查解决。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

掉进悬崖的狼

请博主喝杯奶茶

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值