记录一次datax同步数据到doris错误[DATA_QUALITY_ERROR]Encountered unqualified data

批量生成datax同步JSON(postgresql到doris) 使用datax同步psql数据到doris,表的数量过多,写datax的配置文件很麻烦。鉴于此,编写了一个datax的配置文件生成脚本,可以灵活的实现一键生成配置文件,提高生产效率。 阅读详情
AI摘要

在使用DataX从MySQL同步数据到Doris时,遇到DATA_QUALITY_ERROR错误,提示遇到了不合格的数据导致同步失败。错误信息中没有提供详细的错误链接,经过排查发现是字段长度超出限制导致的问题。通过逐个字段测试,最终定位并解决了问题。

使用data同步数据,mysql到doris数据库,遇到过没有详细报错的情况,之前一般遇到字段长度或类型转换错误它是有详细错误的一个链接呈现错误原因的,找了很久没找到原因。

错误提示:

[2024-04-10 14:51:38.057][ERROR] >>>> 运行scheduler 模式[standalone]出错.

com.alibaba.datax.common.exception.DataXException: Code:[DBUtilErrorCode-05], Description:[往您配置的写入表中写入数据时失败.]. - java.io.IOException: Failed to flush data to doris.

{"Status":"Fail","Comment":"","BeginTxnTimeMs":1,"Message":"[CANCELLED][DATA_QUALITY_ERROR]Encountered unqualified data, stop processing","NumberUnselectedRows":0,"CommitAndPublishTimeMs":0,"Label":"datax_doris_writer_580a53cc-7fe0-45cc-9142-acac312cdcbc_0","LoadBytes":2455041,"StreamLoadPutTimeMs":6,"NumberTotalRows":0,"WriteDataTimeMs":310,"TxnId":2038723,"LoadTimeMs":319,"TwoPhaseCommit":"false","ReadDataTimeMs":10,"NumberLoadedRows":0,"NumberFilteredRows":0}

at com.alibaba.datax.plugin.writer.doriswriter.DorisWriterEmitter.doStreamLoad(DorisWriterEmitter.java:114)

at com.alibaba.datax.plugin.writer.doriswriter.DorisWriter$Task.flush(DorisWriter.java:123)

at com.alibaba.datax.plugin.writer.doriswriter.DorisWriter$Task.startWrite(DorisWriter.java:113)

at com.alibaba.datax.core.taskgroup.runner.WriterRunner.run(WriterRunner.java:56)

at java.base/java.lang.Thread.run(Thread.java:834)

- java.io.IOException: Failed to flush data to doris.

{"Status":"Fail","Comment":"","BeginTxnTimeMs":1,"Message":"[CANCELLED][DATA_QUALITY_ERROR]Encountered unqualified data, stop processing","NumberUnselectedRows":0,"CommitAndPublishTimeMs":0,"Label":"datax_doris_writer_580a53cc-7fe0-45cc-9142-acac312cdcbc_0","LoadBytes":2455041,"StreamLoadPutTimeMs":6,"NumberTotalRows":0,"WriteDataTimeMs":310,"TxnId":2038723,"LoadTimeMs":319,"TwoPhaseCommit":"false","ReadDataTimeMs":10,"NumberLoadedRows":0,"NumberFilteredRows":0}

at com.alibaba.datax.plugin.writer.doriswriter.DorisWriterEmitter.doStreamLoad(DorisWriterEmitter.java:114)

at com.alibaba.datax.plugin.writer.doriswriter.DorisWriter$Task.flush(DorisWriter.java:123)

at com.alibaba.datax.plugin.writer.doriswriter.DorisWriter$Task.startWrite(DorisWriter.java:113)

at com.alibaba

Datax同步mysql至Doris模板 【代码】Datax同步mysql至Doris模板。 阅读详情

相关推荐

DataX运行过程中的一些错误

DataX数据同步一些常见的错误以及解决方案

2301_77262530的博客 2889

DataX 实现 Doris 和 MySQL 双向同步完全指南

作为一名在大数据运维领域摸爬滚打多年的老兵,我深知数据同步在企业级应用中的重要性。今天咱们就来聊聊如何用 DataX 这个阿里开源的数据同步工具,实现 Doris 和 MySQL 之间的双向数据同步。说实话,刚开始接触 DataX 的时候,我也是一头雾水。但经过这几年的实战,发现这玩意儿确实好用,特别是在处理异构数据源同步的时候,简直就是神器。

大模型大数据攻城狮的专栏 2115

适配datax(包含DorisWriter 插件)的datax_web

DataX doriswriter 插件,用于通过 DataX 同步其他数据源的数据到 Doris 中。(https://doris.apache.org/zh-CN/docs/ecosystem/datax?_highlight=datax#%E5%85%B3%E4%BA%8E-datax) DataX Web是在DataX之上开发的分布式数据同步工具,提供简单易用的 操作界面。 GitHub上的Datax Web项目不支持doriswriter 插件。 本项目是集成了doris,适配doriswriter 插件。

Qt实现仿微信在线聊天工具(服务器、客户端)V1_ 01

在主控类中绑定登录类的信号 void signalLoginOK() ,跳过验证步骤,先实现页面的跳转MyChatToolClient.h文件//登录成功槽函数 private :MyChatToolClient.cpp文件} //登录成功槽函数 void MyChatToolClient :: slotLoginOk() {//关闭登录窗口并释放空间 m_loginWin -> close();//新建并打开聊天窗口 m_chatWin = new ChatWindow;

Leo的博客 1872

Silvaco TCAD 2018安装后,如何配置TonyPlot 5.0.22.R并解决绘图报错?

本文详细介绍了在Windows系统上安装Silvaco TCAD 2018后,如何正确配置TonyPlot 5.0.22.R并解决常见的绘图报错问题。内容包括版本兼容性分析、环境变量设置、常见错误解决方案以及性能优化建议,帮助用户顺利完成仿真结果的可视化工作。

weixin_31031711的博客 420

CANFD升级踩坑实录:DBC转换时DLC大于8的信号怎么处理?

本文详细探讨了CANFD升级过程中DLC大于8的信号处理问题,提供了工程化解决方案和AutoSar BSW层配置要点。通过分析CAN与CANFD的DLC本质差异,提出信号拆分重组、DLC重映射和协议层适配三种策略,并给出验证与测试方案,帮助开发者避免数据截断和通信故障。

weixin_42521843的博客 230

香橙派rk3588的rknn多线程推理RTSP流服务性能优化与资源分配策略

本文深入探讨了香橙派RK3588平台上的RKNN多线程推理在RTSP流服务中的性能优化与资源分配策略。通过分析硬件架构、设计多线程推理流水线、实现NPU核心负载均衡及优化RGA内存管理,显著提升了RTSP视频流的处理帧率和降低了延迟,为边缘计算视频分析应用提供了实用的优化方案。

7up55的博客 656

YOLO11改进-注意力-引入自调制特征聚合模块SMFA

SMFA(自调制特征聚合模块): SMFA模块用于协同建模局部和非局部信息,它分为两个分支:一个是EASA(Efficient Approximation of Self-Attention,简化的自注意力分支),用于捕获非局部信息;另一个是LDE(Local Detail Estimation,局部细节估计分支),用于捕获局部细节。EASA通过对输入特征进行下采样,然后利用全局特征的方差进行调制,再与原始特征进行聚合,提取非局部结构信息。LDE分支则通过卷积操作提取输入特征中的高频局部信息。

qq_64693987的博客 2208

车载软件刷写工具vFlash --- 自动化接口(Automation API)应用简介

车载软件刷写工具vFlash --- 自动化接口(Automation API)应用简介

Soly_kun的博客 361

LDRA Testbed软件静态分析_操作指南

从本文起,将开始LDRA Testbed(TBrun)教程的系列文章,包括软件静态分析、单元测试、集成测试,以及基于Testbed的自动化工具开发、持续集成、常见问题解答等。LDRA公司是专业的软件测试工具与测试技术、咨询服务提供者,其总部位于英国利物浦。其旗舰产品Testbed/TBrun功能全面、易于使用,不仅适合于主机平台软件测试,同时适合于嵌入式软件测试。不仅能进行软件静态测试,还能进行软件单元测试、软件集成测试,在白盒测试领域运用比较广泛。

文章主要涉及嵌入式软件开发、测试、项目管理等,欢迎交流,共同进步。 1万+

视觉Transformer实战 | 将卷积引入视觉Transformer(CvT)

CvT 是一种融合卷积神经网络与 Vision Transformer 优势的视觉模型,旨在解决 ViT 缺乏平移不变性和局部性等归纳偏置的问题。CvT 采用分层结构逐级降采样,使用卷积词元嵌入代替传统 patch 切分,引入卷积投影替代线性投影。这些设计使得 CvT 能够去除位置编码,在高分辨率输入下表现更优。本节深入解析 CvT 的核心原理,并提供完整的 PyTorch 代码实现,演示如何在实际数据集上训练和评估 CvT 模型。

盼小辉丶的博客 726

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

上一篇: 记jdbcTemplate使用的一个坑
mxm_2005
博客等级 码龄22年 14粉丝 6原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值