跑DataX自检job就失败,Describe:[您提供的配置文件存在错误信息,请检查您的作业配置 .]

博客内容涉及数据迁移工具在加载streamreader和streamwriter等插件时遇到异常,错误提示配置文件存在错误并指出具体文件不存在。解决方案是删除一系列隐藏文件,包括多个reader和writer的配置文件夹,如cassandrareader、drdsreader等。完成清理后,问题得到解决。
WARN  ConfigParser - 插件[streamreader,streamwriter]加载失败,1s后重试... 
Exception:Code:[Common-00], Describe:[您提供的配置文件存在错误信息,请检查您的作业配置 .] 
- 配置信息错误,您提供的配置文件[/opt/module/datax/plugin/reader/._cassandrareader/plugin.json]不存在. 
- 请检查您的配置文件.

一堆隐藏文件要删除,删除之后就好了:
rm -rf ./plugin/reader/._cassandrareader
rm -rf ./plugin/reader/._drdsreader
rm -rf ./plugin/reader/._ftpreader
rm -rf ./plugin/reader/._hbase094xreader
rm -rf ./plugin/reader/._hbase11xreader
rm -rf ./plugin/reader/._hdfsreader
rm -rf ./plugin/reader/._mongodbreader
rm -rf ./plugin/reader/._mysqlreader
rm -rf ./plugin/reader/._odpsreader
rm -rf ./plugin/reader/._oraclereader
rm -rf ./plugin/reader/._ossreader
rm -rf ./plugin/reader/._otsreader
rm -rf ./plugin/reader/._otsstreamreader
rm -rf ./plugin/reader/._postgresqlreader
rm -rf ./plugin/reader/._rdbmsreader
rm -rf ./plugin/reader/._sqlserverreader
rm -rf ./plugin/reader/._streamreader
rm -rf ./plugin/reader/._txtfilereader

rm -rf ./plugin/writer/._adswriter
rm -rf ./plugin/writer/._cassandrawriter
rm -rf ./plugin/writer/._drdswriter
rm -rf ./plugin/writer/._ftpwriter
rm -rf ./plugin/writer/._hbase094xwriter
rm -rf ./plugin/writer/._hbase11xsqlwriter
rm -rf ./plugin/writer/._hbase11xwriter
rm -rf ./plugin/writer/._hdfswriter
rm -rf ./plugin/writer/._mongodbwriter
rm -rf ./plugin/writer/._mysqlwriter
rm -rf ./plugin/writer/._ocswriter
rm -rf ./plugin/writer/._odpswriter
rm -rf ./plugin/writer/._oraclewriter
rm -rf ./plugin/writer/._osswriter
rm -rf ./plugin/writer/._otswriter
rm -rf ./plugin/writer/._postgresqlwriter
rm -rf ./plugin/writer/._rdbmswriter
rm -rf ./plugin/writer/._sqlserverwriter
rm -rf ./plugin/writer/._streamwriter
rm -rf ./plugin/writer/._txtfilewriter

### DataX Common-00 配置文件 JSON格式错误解决方案 DataX在运行时如果检测到配置文件不是合法的JSON格式,会抛出`Common-00`相关的错误。以下是解决此类问题的详细方法。 #### 1. 检查JSON语法 确保JSON配置文件符合标准的JSON语法规范。常见的错误包括: - 缺少逗号或多余的逗号。 - 键值对中的冒号不正确。 - 字符串未使用双引号包裹。 - 数组或对象未正确闭合。 可以使用在线JSON校验工具(如[JSONLint](https://jsonlint.com/))来验证配置文件是否合法[^2]。 #### 2. 分隔符转义 如果配置文件中包含特殊字符(如`\u0001`),需要确保这些字符被正确转义为Unicode格式。例如,分隔符`\u0001`在JSON中应表示为`"\u0001"`而不是`"\001"`。 以下是一个正确的JSON配置示例: ```json { "reader": { "name": "hdfsreader", "parameter": { "path": "/user/hive/warehouse/mydb01.db/par3/*", "defaultFS": "hdfs://bigdata01:9820", "column": [ {"index": 0, "type": "long"}, {"index": 1, "type": "long"} ], "fileType": "text", "encoding": "UTF-8", "fieldDelimiter": "\u0001" } } } ``` #### 3. 检查隐藏文件 在macOS系统上运行DataX时,可能会因`.DS_Store`等隐藏文件导致配置文件加载失败。建议删除相关目录下的所有隐藏文件,并重新生成配置文件[^4]。 可以通过以下命令查找并删除`.DS_Store`文件: ```bash find /path/to/datax -name ".DS_Store" -delete ``` #### 4. 数据源插件问题 如果配置文件中涉及特定数据源插件(如`postgresqlreader`或`clickhousewriter`),需确保插件已正确安装并加载。如果插件加载失败,可能会间接导致配置文件解析错误[^1]。 #### 5. 日志分析 通过查看DataX的日志文件,定位具体的错误信息。日志通常位于`logs`目录下,错误信息可能包含更详细的上下文,帮助排查问题[^1]。 ### 示例代码 以下是一个完整的JSON配置文件示例,适用于HDFS读取任务: ```json { "job": { "content": [ { "reader": { "name": "hdfsreader", "parameter": { "path": "/user/hive/warehouse/mydb01.db/par3/*", "defaultFS": "hdfs://bigdata01:9820", "column": [ {"index": 0, "type": "long"}, {"index": 1, "type": "long"} ], "fileType": "text", "encoding": "UTF-8", "fieldDelimiter": "\u0001" } }, "writer": { "name": "streamwriter", "parameter": { "print": true } } } ], "setting": { "speed": { "channel": 3 } } } } ```
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值