轻松简单搭建datax 和datax-web使用

最新推荐文章于 2025-11-04 21:42:21 发布

原创最新推荐文章于 2025-11-04 21:42:21 发布 · 591 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#java #后端 #运维

前言

  datax详细介绍本文就不做介绍了，本文针对datax的搭建，废话不多说开始进入正题

搭建步骤

环境

Linux
JDK(1.8以上，推荐1.8)
Python(2或3都可以)
Apache Maven 3.x (Compile DataX)

下载地址

datax和datax-web都提供了源码跟打包好的tar包 git上可以搜索到

datax:  http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
datax-web(官方文档推荐): 
  地址：https://pan.baidu.com/share/init?surl=3yoqhGpD00I82K4lOYtQhg
  提取码：cpsk

linux 安装

下载完成之后进行解压

 tar -zxvf datax.tar.gz 
 cd datax/bin/

测试同步 test.json

{
	"job": {
		"content": [{
			"reader": {
				"parameter": {
					"password": "test123456",
					"column": ["name"],
					"connection": [{
						"jdbcUrl": ["jdbc:sqlserver://localhost:1433;DatabaseName=test"],
						"table": ["test"]
					}],
					"splitPk": "",
					"username": "test"
				},
				"name": "sqlserverreader"
			},
			"writer": {
				"parameter": {
					"password": "test123456",
					"column": ["name"],
					"connection": [{
						"jdbcUrl": "jdbc:sqlserver://localhost:1434;DatabaseName=test1",
						"table": ["test"]
					}],
					"username": "test"
				},
				"name": "sqlserverwriter"
			}
		}],
		"setting": {
			"errorLimit": {
				"record": 0,
				"percentage": 0.02
			},
			"speed": {
				"channel": 32
			}
		}
	}
}

案例使用了sqlserver 同步数据到sqlserver，datax支持很多reader跟writer，可以去官方文档看看

python datax.py test.json

可以发现数据已经同步过去了

接下来安装datax-web 使用界面来管理datax
先解压已下载的datax-web

tar -zxvf datax-web.tar.gz 
cd /datax-web-2.1.2/bin/db

datax-web要依赖数据库，默认是mysql，进入了/datax-web-2.1.2/bin/db目录下可以看到一个 datax_web.sql 文件将sql文件放到自己的MySQL上执行一下

vim datax-web-2.1.2/modules/datax-admin/conf/bootstrap.properties

修改这个文件内容替换成自己的数据库，执行命令启动datax

 cd datax-web-2.1.2/bin
 sh start-all.sh

打开 http://{安装机器ip}:9527/index.html#/login
默认账号：admin/123456
即可进入 datax-web管理界面

如果遇到报错

jps: 未找到命令

安装完整版的java即可