datax 上传的json脚本同步运行正常，下载至windows端修改后运行异常。

最新推荐文章于 2024-04-09 16:52:00 发布

原创最新推荐文章于 2024-04-09 16:52:00 发布

· 457 阅读

11 ·

版权

文章标签：

#json #datax

文章讨论了Windows系统创建的JSON文件在Linux系统中可能出现的格式问题，提出了解决方案，包括使用`lindos2unix`转换格式、在服务器VIM直接修改或在Windows客户端修改后转换后再上传。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

（注意该问题较隐蔽，如出现脚本运行异常，在确认JSON格式及语法无误后（可使用jsonformat等工具校验），优先排查因重新编辑后格式问题）

可能原因：json格式不对，少关闭符或格式问题。

解决方案：windows 系统创建的json文件上传至Linux系统后，运行lindos2unix xxxx.json后再运行该同步脚本，如字段较少可以直接在服务器VIM进行更新，如字段较多在WINDOWS客户端修改后优先进行格式转换再上传，避免干扰。

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

whbi

关注关注

8
点赞
踩
11

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

使用 DataX 实现数据同步（高效的数据同步工具）(1)

2301_82241647的博客

05-01

1213

JVM，JAVA集合，JAVA多线程并发，JAVA基础，Spring原理，微服务，Netty与RPC，网络，日志，Zookeeper，Kafka，RabbitMQ，Hbase，MongoDB，Cassandra，设计模式，负载均衡，数据库，一致性哈希，JAVA算法，数据结构，加密算法，分布式缓存，Hadoop，Spark，Storm，YARN，机器学习，云计算…": [],],],],“speed”: {

DataX自动化生成配置json,创建ODS表,多线程调度脚本[mysql--＞hive]

最新发布

qq_18453581的博客

04-15

1460

结合Dolphinscheduler,自动化生成datax抽取任务json文件,自动化创建ods表,自动化多线程执行任务,支持创建hive分区表,自动创建分区,修复分区,支持kerberos认证,mysql多库多表配置

参与评论您还未登录，请先登录后发表或查看评论

【工具】DataX 数据同步工具

生如夏花的博客

03-20

409

DataX 是阿里云 DataWorks数据集成的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。

datax安装及批量生成json任务文件，以sqlservrreader和mysqlwriter为例_datax的json文件自动生成(1)

2301_78399616的博客

04-09

1474

将reader和writer的连接信息、需要同步的表、字段及其前置语句等写在配置文件中; section名称 [sqlserver] url = jdbc:sqlserver://hadoop103:1433;DatabaseName=test username = sa password = yH5nm57BSkFjmL8rBpRH table = t_info column = id,order_date,purchaser,quantity,product_id where =;key 只能是小写

datax的json范例

08-26

datax的简单范例. 有一些解释,适用于初学者

linux中的datax数据同步json脚本用于同步两台互通服务器数据库上的表数据---aaa.json

06-17

linux中的datax数据同步json脚本用于同步两台互通服务器数据库上的表数据---aaa.json

批量生成datax同步JSON（postgresql到doris）

Brother_ning的博客

01-08

1490

使用datax同步psql数据到doris，表的数量过多，写datax的配置文件很麻烦。鉴于此，编写了一个datax的配置文件生成脚本，可以灵活的实现一键生成配置文件，提高生产效率。

Oracle批量生成供datax调用的json文件及可执行sh脚本

奋斗的阿杰的博客

07-10

762

Oracle批量生成json文本和sh脚本

批量生成datax同步JSON（tidb到doris）

Brother_ning的博客

01-08

745

使用datax同步tidb数据到doris，表的数量过多，写datax的配置文件很麻烦。鉴于此，编写了一个datax的配置文件生成脚本，可以灵活的实现一键生成配置文件，提高生产效率。

datax json文件导入mysql_DATAX windows下安装及csv文件导入mysql简单案例

weixin_42138545的博客

02-01

621

步骤：1，环境准备：JDK1.8Python2.7DataX2，测试安装是否成功，打开命令界面①cd (你的datax安装目录)\bin②py -2 {YOUR_DATAX_HOME}/bin/datax.py {YOUR_DATAX_HOME}/job/job.json 如：py -2 E:\MySoftWare\datax\datax\bin\datax.py E:\MySoftWare\d...

使用MongoDB Shell执行json脚本文件

IT小小白的博客

10-28

1316

使用MongoDB Shell执行json脚本文件

【datax】mysqlreader 同步json格式数据中文乱码

Tate的博客

12-30

1697

【datax】mysqlreader 同步json格式数据中文乱码背景：之前公司中的产品使用的业务库是PG库，使用datax同步json数据并没有中文乱码，后来接新产品的业务数据，使用的是Mysql库，线上客户反应银行名称乱码。原因： json数据中文乱码问题与useUnicode=true&characterEncoding=utf-8无关，useUnicode=true&characterEncoding=utf-8只是代码规范。这是datax的jdbc连接工具mysql-co

python脚本执行 json 文件

weixin_43038063的博客

06-13

2133

最近老大要求写个定时执行的调度程序，来保证写好的 json 文件能在有变量的情况下，可以把每小时的任务按照增量抽取的方法保存到 hdfs，而且需要把 json 运行的日志按照天为单位保存在本地目录下，赶忙找来小老弟把这个程序写了一下。 #!/usr/bin/python # -*- coding: UTF-8 -*- import threading import time impor...

DataX笔记1 —— JSON文件配置

weixin_40170142的博客

06-28

2349

DataX使用经验

DATAX 的踩坑小记

YINGWENNICHENG的博客

03-31

1086

sqlserver导入hdfsjson格式… 要求太细了… 老是跑失败，仔仔细细改了好久终于跑起来了… { “job”: { “content”: [ { “reader”: { “name”: “sqlserverreader”, “parameter”: { “column”: [ “MC_Id”, “MC_M_Id”, “MC_Ca_Id”, “SyncDataSource”, “MC_Sort” ], “connection”: [ { “jdbcUrl”: [ “jdbc:sqlserver:/

DataX-web运行时报错：jdbc4.MySQLNonTransientConnectionException:Could not create database server

wang_quan_li的专栏

07-09

3327

DataX-web启动后执行器在线机器为0.0.0开头的地址，删除这个执行器后添加一个执行器，注册方式为手动录入，在线机器地址改为你的地址。结果系统仍不能调度成功。查看日志报错jdbc4.MySQLNonTransientConnectionException:Could not create database server，直接在datax下执行python ~/datax/bin/datax.py ~/datax/job/test.json也提示上述错误。原因是 java的mysql-

linux运行json脚本,如何用linux脚本编写解析json

weixin_32258195的博客

05-02

808

我有一个Json输出,我需要在linux中提取一些参数.这是json输出：{"OwnerId":"121456789127","ReservationId":"r-48465168","Groups":[],"Instances":[{"Monitoring":{"State":"disabled"},"PublicDnsName":null,"RootDeviceType":"ebs","Sta...

关于json数据格式错误

weixin_30772105的博客

07-22

1063

之前我在自己写json数据的时候，一直报错，改了很多没有找到错误，最后发现居然是单引号的问题，webstorm里的json数据格式只能用双引号，不能用单引号转载于:https://www.cnblogs.com/qiruoranbeginner/p/7221135.html...

[大数据技术]datax的安装以及使用

weixin_43847567的博客

02-27

1452

1、datax简述 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。　　datax的开源地址：https://github.com/aliba...

书写配置datax的json脚本,需求是读取clickhouse表同步到postgresql

08-15

### 回答1：下面是一个示例，可以帮助您书写datax的json脚本：{ "job": { "setting": { "speed": { "channel": 3 } }, "content": [ { "reader": { "name": "clickhousereader", "parameter": { "username": "", "password": "", "column": [], "connection": [ { "table": [] } ] } }, "writer": { "name": "postgresqlwriter", "parameter": { "username": "", "password": "", "column": [], "session": [ { "table": [] } ], "preSql": [] } } } ] } } ### 回答2：书写配置datax的json脚本，实现将clickhouse表数据同步到postgresql需要以下配置： { "job": { "setting": { "speed": { "channel": 1 } }, "content": [ { "reader": { "name": "clickhousereader", "parameter": { "username": "username", "password": "password", "column": [ "column1", "column2", "column3" ], "connection": [ { "jdbcUrl": "jdbc:clickhouse://clickhouse_ip:clickhouse_port/database_name", "table": "clickhouse_table", "where": "where condition" } ] } }, "writer": { "name": "postgresqlwriter", "parameter": { "username": "username", "password": "password", "column": [ "column1", "column2", "column3" ], "writeMode": "insert", "connection": [ { "jdbcUrl": "jdbc:postgresql://postgresql_ip:postgresql_port/database_name", "table": "postgresql_table" } ] } } } ] } } 其中，需要替换的参数包括： 1. clickhouse_ip: clickhouse数据库的IP地址； 2. clickhouse_port: clickhouse数据库的端口号； 3. database_name: clickhouse数据库的名称； 4. clickhouse_table: 需要同步的clickhouse表名称； 5. where condition: 需要同步的数据条件，可根据实际需求进行设置； 6. postgresql_ip: postgresql数据库的IP地址； 7. postgresql_port: postgresql数据库的端口号； 8. database_name: postgresql数据库的名称； 9. postgresql_table: 同步到postgresql的表名称； 10. username: 数据库的用户名； 11. password: 数据库的密码； 12. column1, column2, column3: 需要同步的列名称，根据实际需求进行设置。以上是一个基本的配置，根据实际需求，可以根据datax提供的文档，进一步配置更多的参数和设置。 ### 回答3：在配置datax的json脚本中，我们需要设置数据源和目标源的信息，以实现从clickhouse表同步到postgresql的需求。首先，我们需要配置数据源clickhouse的信息。在job节点下设置参数： "reader": { "name": "clickhousereader", "parameter": { "username": "your_username", "password": "your_password", "connection": [ { "querySql": "SELECT * FROM your_clickhouse_table" } ] } } 其中，username和password分别填写clickhouse的登录用户名和密码，connection节点下的querySql字段填写要从clickhouse中读取数据的SQL语句。将"your_clickhouse_table"替换为实际的clickhouse表名。然后，我们配置目标源postgresql的信息。在job节点下设置参数： "writer": { "name": "postgresqlwriter", "parameter": { "username": "your_username", "password": "your_password", "column": [ "column1", "column2", ... ], "preSql": [ "TRUNCATE TABLE your_postgresql_table" ], "connection": [ { "jdbcUrl": "jdbc:postgresql://your_host:your_port/your_database", "table": "your_postgresql_table" } ] } } 其中，username和password分别填写postgresql的登录用户名和密码，column节点下填写目标表的列名，preSql节点下填写对目标表的操作，如清空目标表数据，将"your_postgresql_table"替换为实际的postgresql表名。 jdbcUrl节点下填写postgresql数据库的连接信息，包括主机名、端口号和数据库名。最后，在job节点下设置任务并发数和并发写入数： "setting": { "speed": { "channel": "5", "channelSpeedByte": "1048576", "byte": "10485760" } } 其中，channel表示任务并发数，channelSpeedByte表示每个channel的限速，byte表示并发写入数。以上是一个简单的配置datax的json脚本的示例，根据实际环境和需求进行相应的修改和调整。