DataX脚本任务开发实例

原创

已于 2024-05-22 14:33:54 修改 · 647 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#DataX #Shell

于 2021-07-20 19:17:59 首次发布

这是一个关于数据同步的shell脚本，用于从MySQL数据库中读取数据，并使用DataX将数据写入文件系统。脚本每小时运行一次，每次拉取最近9天的数据。数据同步涉及对日期参数的检查、连接配置、数据过滤以及数据加载到目标系统的操作。此外，还包含了数据清理和错误处理机制。

# job模版：/home/work/datax/job/fn/example/fn_t_test_days
{
	"job": {
		"content": [{
			"reader": {
				"name": "mysqlreader",
				"parameter": {
					"columnMeta": [{
						"value": "dt",
						"label": "DATE_FORMAT(f_create_time,'%Y-%m-%d')",
						"type": "custom"
					}, {
						"value": "f_seq",
						"label": "f_seq",
						"type": null
					}, {
						"value": "f_enabled",
						"label": "f_enabled",
						"type": null
					}],
					"where": "",
					"connectionPattern": {
						"urls": ["jdbc:mysql://*.*.*.*:1234"],
						"database": "dyp_db",
						"tablename": "t_test",
						"arguments": null
					},
					"connection": [JDBCSTR],
					"mandatoryEncoding": "GBK",
					"username": "datax_r",
					"password": "******",
					"column": ["DATE_FORMAT(f_create_time,'%Y-%m-%d')", "f_seq", "f_enabled"],
					"jdbc_encoding": "CP1252"
				}
			},
			"writer": {
				"name": "streamwriter",
				"parameter": {
					"cryptMode": "no",
					"roleType": "",

最低0.47元/天解锁文章