Flink 写入 Doris 常见报错和问题

Jason不在家

已于 2025-02-21 14:50:15 修改

阅读量906

点赞数 3

文章标签： flink 大数据 Doris csv json

于 2025-01-10 15:43:21 首次发布

本文链接：https://blog.youkuaiyun.com/m0_37634723/article/details/145059617

版权

1. 字段数量、格式问题

task 一启动就会有明确的报错，直接调整即可

2. 运行一会报错，报错中有个 doris 链接

可以通过链接访问拿到报错日志，里面有错误信息

长度之类的问题，自己调整字段长度，或者过滤

一些特殊字符，可能也会报字段数量长度不对之类的，但其实如果不对早就报了，大概率是默认 csv 导入，特殊字符导致的问题
可以调整一下写入方式，改为json，sink—doris 加个参数

'sink.properties.format' = 'json',
'sink.properties.read_json_by_line' = 'true'

3. INTERNAL_ERROR Cancelled END_OF_FILE Encountered unqualified data, stop processing, see more in null

这种也是运行一会报错，报错中没有链接，光说 see more in null 的

一般都是主键、分区键有问题

主键字段中存在 null 值
分区字段超过分区键的范围，比如分区从 2024 年开始，但数据中有 2020 年的数据

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Jason不在家

关注关注

3
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Doris基础篇—数据丢失

06-21

4万+

建表的时候指定的长度是字节数而不是字符数数据长度不合适会导致数据被过滤，从而形成数据丢失的问题。

flink写入starrocks报错 primary key size exceed the limit

yy的博客

11-03

1226

参与评论您还未登录，请先登录后发表或查看评论

记录一次datax同步数据到doris错误[DATA_QUALITY_ERROR]Encountered unqualified data

mxm_2005的专栏

04-10

3559

记录一次datax同步数据到doris错误[DATA_QUALITY_ERROR]Encountered unqualified data

Flink向Doris表写入数据（Sink）

05-28

4217

最近在工作中遇到了Flink处理kafka中的数据，最后写入Doris存储的场景。Apache Doris 是一款基于 MPP 架构的高性能、实时的分析型数据库，以高效、简单、统一的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。

doris查询报错The depth of the expression tree is too big

最新发布

qq_29391331的博客

03-07

425

doris查询报错The depth of the expression tree is too big问题解决

Flink同步数据mysql到doris问题合集

m0_46267097的博客

02-28

491

这是因为用户配置的 MySQL 用户使用的是 sha256 密码认证，需要 TLS 等协议传输密码。一种简单的方法是使允许 MySQL用户支持原始密码方式访问。Nginx转发Doris接口需要使用Nginx的Stream模块，开放8030、8040、9030、9050端口。Doris正常情况会启动很多端口，用如下命令可以查看Doris开放端口。Doris启动时，root账户默认没有。(调大点，比如30，50)解决方法是修改配置文件。，重新设置任务槽的数量。

Doris查询任务报错failed to initialize storage reader

gaofeng的博客

07-22

8621

报错 spark读取Doris表导入hive表任务报错如下 Caused by: org.apache.doris.spark.exception.DorisInternalException: Doris server Doris BE{host='10.105.137.182', port=9060} internal failed, status code [INTERNAL_ERROR] error message is [failed to initialize storage reade

Doris 数据导入失败排查思路

Dataligen的博客

08-23

1764

数据写入常见的错误如下：写入分区表时，写入不存在分区数据数据类型与doris数据类型不一致采用csv表格数据导入，原数据中存在字符串，字符串中可能存在制表符\t或换行符\n在数据分割的时候，会将数据切割错误，会报数据类型不符错误，故需要设置自定义新的分隔符。PROPERTIES"column_separator": "&*&", --导出文件的列分隔符"line_delimiter": "@@@@" --导出文件的行分隔符。

Flink stream load 方式写入doris

qq_31866793的博客

01-22

5013

1，文档 Name: 'STREAM LOAD' Description: NAME: stream-load: load data to table in streaming SYNOPSIS curl --location-trusted -u user:passwd [-H ""...] -T data.file -XPUT http://fe_host:http_port/api/{db}/{table}/_stream_load ...

flink sink doris

core815的专栏

12-21

1099

flink sink doris

Flink stream load方式写入到doris遇到的问题

qq_31866793的博客

03-11

5877

1，Flinkstreamload写入数据到doris的时候，偶然发现be节点挂掉的时候，我的yarn任务也会跟着报错，然后询问了开发小姐姐：继续跟小姐姐沟通：通过查看跟确认，发现tablet没有问题，这有尴尬了，只有继续测试，结果如下 2，这我就没办法理解了。我目前使用的是doris 0.13.15，遇到这个问题，是因为在通过http写入doris的时候，需要通过FE去查找BE节点的状态，还有个写入是直接写入到BE，但是如果BE节点挂了也会遇到类似的问题。...

Flink cdc +doris生产遇到的问题汇总-持续更新

热门推荐

qq_31866793的博客

02-14

1万+

版本： Flink版本 1.13 Flink cdc版本 2.1.1 场景说明：使用flink cdc stream api 读取mysql整库数据直接写入doris 大概100G数据量，大概几十个表，大表小表，字段多，字段少，单个字段类型复杂等等情况都包含了。出现情况：任务运行一段时间之后挂掉，出现问题： 2022-02-11 18:33:59,461 INFO com.ververica.cdc.connectors.mysql.source.enumerator.My.

Doris 启动失败问题解决

x²＋(y－√³x²)²＝1的博客

01-13

7666

1、报错： Frontend running as process 3868. Stop it first. 解决方式：重复启动 fe 服务 2、启动 be 报错 palo_be: error while loading shared libraries: libbfd-2.30-system.so: cannot open shared object file: No such file or directory 或者： backend[10001] got Exception: org.apach

Doris 建表报错

weixin_42819047的博客

07-23

552

oris Doris在建表的过程中，需要引入桶的概念。这里直接按照mysql中的建表语句来创建表，所以报错，这里需要引入桶的概念。

【无标题】Doris报错（too many filtered rows）

ShiXZ213的博客

10-28

3080

doris

Doris部分列更新

先生一笑而起渺海阔而天高

10-22

2489

在需要频繁更新某些字段的场景中，例如用户标签表中的行为信息更新，以支持广告或推荐系统的实时分析和决策。：将多张源表的数据合并成一张大宽表，可以通过部分列更新来实现。：在需要修正某些数据的场景中，部分列更新可以有效减少更新的开销。：部分列更新支持高频的并发写入，适用于需要实时更新大量行但仅涉及少数列的场景。：在更新少数列时，部分列更新可以显著提高性能，尤其是在涉及大量行的情况下。这些场景中，部分列更新通过减少不必要的数据写入和锁定，提升了系统的整体性能和响应速度。

doris使用问题记录

sunxunyong的博客

08-27

582

Doris 使用MAP_AGG(expr1, expr2)行转列，返回一个 map, 由 expr1 作为键，expr2 作为对应的值.需要保证同一分组内的键有重复。若分组内有相同key，则会导致map按key取值不确定！create view vtest as SELECT * from internal.库.表;Doris 创建视图时，查询语句包含视图和表，表需要使用全路径-internal.库.表!

Doris 导入数据不成功

sinat_41221480的博客

01-09

3266

问题描述 Doris导入数据,使用show load 查看任务状态cancelled. 浏览器打开URL的信息是: File path is invalid 后面跟着一串目录, 具体的原因是尽然是navicat for mysql 只显示了部分的URL数据,没有完全的数据,所以会显示这样的错误信息。这样的问题只是个别的navicat的问题,希望doris日后可以打开的URL不正确,可以显示熟悉的...

flink cdc常见报错

08-17

常见的 Flink CDC（Change Data Capture）报错有以下几种： 1. "TableNotFoundException: Table 'xxx' was not found in the catalog."：表示指定的表在 Flink 的 catalog 中不存在。可能是表名拼写错误或者表在数据库中不存在。 2. "RetriableException: Error occurred while fetching data from the database."：表示从数据库中获取数据时发生错误。可能是数据库连接问题、数据库权限不足或者表结构发生变化导致读取失败。 3. "DatabaseHistoryException: Could not initialize the database history."：表示初始化数据库历史记录时出现错误。可能是数据库连接配置错误或者数据库表结构不匹配。 4. "DeserializationSchema.InitializationException: Could not find a suitable table type for the given class."：表示无法找到适合给定类的表类型。可能是由于源表和目标表之间的字段类型不匹配导致的。 5. "InvalidWatermarkException: Watermark is out of order. Current watermark is x, but received y."：表示水印（Watermark）顺序错误。可能是源表中的事件时间字段（event time）未按顺序发送，导致水印的时间戳不符合预期。这些报错通常可以通过查看 Flink 的日志文件来定位具体问题，根据错误信息进行排查和修复。