Flinksql bug :Illegal mixing of types in CASE or COALESCE statement

已于 2024-01-15 10:50:58 修改
阅读量1.4k 收藏 10
点赞数 9
CC 4.0 BY-SA版权
文章标签： bug flink
于 2023-12-06 16:51:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Direction_Wind/article/details/134835776
博客介绍了在使用Flink SQL时遇到的'Illegal mixing of types in CASE or COALESCE statement'错误，详细解析了错误原因（case when语句数据类型不一致）及出现该问题的场景（COALESCE函数或CASE函数），并提供了统一数据类型的解决方案。

报错信息

org.apache.flink.table.api.ValidationException: SQL validation failed. From line 66, column 23 to line 68, column 46: Illegal mixing of types in CASE or COALESCE statement
org.apache.calcite.runtime.CalciteContextException: From line 66, column 23 to line 68, column 46: Illegal mixing of types in CASE or COALESCE statement
org.apache.calcite.sql.validate.SqlValidatorException: Illegal mixing of types in CASE or COALESCE statement

报错原因：

case when 多条判断语句 输出数据类型不一致

发生地址

flinksql中的 COALESCE 函数 或 case 函数

实例 ：

case when id = 1 then 1
when id = 2 then '2'
end

解决方案：

统一数据类型即可

case when id = 1 then 1
when id = 2 then case('2' as int )
end
java.lang.IllegalArgumentException: Illegal character in path at index 40解决方案
weixin_43178406的博客
07-17 8万+
本文主要介绍了java.lang.IllegalArgumentException: Illegal character in path at index 40解决方案，希望能对使用Java的同学们有所帮助。 文章目录 1. 问题描述 2. 问题复现 3. 原因分析 4. 解决方案 4.1 方案一 4.2 方案二 5. 修复后
UnicodeDecodeError ‘gbk‘ codec can‘t decode byte 0xaf in position 850:illegal multibyte sequence解决方案
热门推荐
weixin_43178406的博客
06-14 19万+
本文主要介绍了UnicodeDecodeError ‘gbk’ codec can’t decode byte 0xaf in position 850:illegal multibyte sequence解决方案，希望能对使用Python的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
flinksql报错大全
张不帅
02-09 4521
报错 Type mismatch in column 1 of UNION 解决方案: sql 在 union的时候 两个表字段出现类型不一致现象
hive 中用sql语句查询时报错
weixin_57405721的博客
12-02 1963
报错如下： 如果出现以上问题检查Hadoop搭建的时候配置的这两个 文件： 1.vi hadoop-env.sh 光标所在的这一条语句是不被注释的，大家看自己配置路径是否正确 2. vi mapred-site.xml 检查输入是否有误有错误，如有错误要改正并保存 接下来就要重新进行格式化了。但是 ，格式化之前要先将/export/software/hadoop-2.4.1目录下面的tmp文件删除（大家看自己的安装路径去删除），因为它是格式化后自动生成的文件所以要删除后， 重新格.
实时数据清洗与转换：Flink SQL函数与自定义算子实战
最新发布
AI天才研究院
09-13 994
在实时数据处理中，很多清洗和转换操作需要基于时间窗口进行。Flink SQL提供了丰富的窗口函数来处理时间相关的数据。虽然Flink SQL提供了丰富的内置函数，但在实际应用中，我们经常需要处理特定业务场景的清洗和转换需求。这时，自定义函数（UDF）就成为了强大的扩展工具。Scalar Function（标量函数）：一进一出，将一个标量值转换为另一个标量值Table Function（表函数）：一进多出，将一个标量值转换为多行多列的表Aggregate Function（聚合函数）
Flink SQL之常用函数(二)
marui156的专栏
07-20 1万+
例如：select CURRENT_DATE;返回 2021-10-08例如：select CURRENT_TIME;返回 09:25:28.137例如：select CURRENT_TIMESTAMP;返回 2021-10-08T09:23:15.180 --注意和时区有关系例如：select LOCALTIMESTAMP;返回 2021-10-08T17:19:47.787例如：select LOCALTIME；返回 17:22:16.212。
SQL: coalesce()函数
weixin_34290352的博客
05-28 389
①用途： 将空值替换成其他值 返回第一个非空值 ②表达式： COALESCE是一个函数， (expression_1, expression_2, ...,expression_n)依次参考各参数表达式，遇到非null值即停止并返回该值。如果所有的表达式都是空值，最终将返回一个空值。使用COALESCE在于大部分包含空值的表达式最终将返回空值。 ③实例： 转载于:h...
flink sql 校验常见错误及解决办法
cs3520的博客
04-13 4767
几个常见的flink sql 语法校验和运行时报错。
Caused by: java.sql.SQLException: Illegal mix of collations (utf8_general_ci,IMPLICIT) and (utf8_cro
知识改变命运，ヾ(◍°∇°◍)ﾉﾞ【求关注】
10-15 2314
最近发布新环境时，运行APP报错
flik SQL 参考
暮紫的笔记本
06-18 542
一、支持的数据类型 VARCHAR 可变长度字符串 VARCHAR最大容量为4MB。 BOOLEAN 逻辑值 取值为TRUE、FALSE或UNKNOWN。 TINYINT 微整型，1字节整数。 -128～127 SMALLINT 短整型，2字节整数。 -32768～32767 INT 整型，4字节整数。 -2147483648～2147483647 BIGINT 长整型，8字节整数。 -9223372036854775808～9223372036854775807 FLOAT 4字节浮点型 6位数字精度 D
FlinkSql常用函数
qq_45003354的博客
05-18 1万+
1、比较函数 = <> > >= < <= 注意：select null=null; 返回为null IS NULL 、 IS NOT NULL --非空判断 value1 IS DISTINCT FROM value2、value1 IS NOT DISTINCT FROM value2、 --不同于 value1 BETWEEN [ ASYMMETRIC | SYMMETR
flink sql常见问题
weixin_44624060的博客
08-11 1973
flink sql
spark入门总结
m0_58024769的博客
11-16 923
spark Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎 支持迭代式计算，图形计算，Spark框架计算比MR快的原因是:中间结果不落盘。注意Spark的Shuffle也是落盘的。 Spark内置模块 Spark Core：Spark的基本功能，含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core包含了对弹性分布式数据集(Resilient Distributed DataSet，简称RDD)的API定义。 S...
Flink常见问题
weixin_43793061的博客
03-31 1319
官方文档：https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/table/sql/queries.html
Flink Bug集锦
Lpy的博客
06-15 3079
1.The program's entry point class 'xxx' was not found in the jar file. 打包问题：https://blog.youkuaiyun.com/S_Alics/article/details/117929680 另外要注意，如果代码用到了其他依赖，则需使用带有依赖的包，就是那个又大又长的 .jar 2.org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException:
自定义AsyncTableFunction后，eval 方法参数类型总是报错
在搭建Flink实时数仓，欢迎交流～
03-26 461
如果不是使用FlinkSQL开发，可以使用DataStream API 实现 Async I/O，实现RichAsyncFunction。自定义异步表函数AsyncTableFunction后，在Flink SQL中使用时，总是报错函数签名不匹配的。如果使用FlinkSQL开发，可以实现TableFunction，并创建线程池用于异步查询。尝试修改eval函数如下，强制输入的类型为string。修改成如下的代码，表示 eval 的参数可以是任意类型。还是报错，报错信息同上。报错，报错信息同上。
flinksql BUG : flink hologres-cdc source FINISHED
Direction_Wind的博客
06-15 377
这个flink的核心报错在：Caused by: org.apache.flink.util.FlinkRuntimeException: There is a FINISHED state of task, and the job is still running, please take a look!分析后发现是hologres-cdc的原表，设置的shard数量过小，我flink任务并发过大的情况下，shard数量不够，就会让任务中部分 task finished，而发生这种情况。
解决异常问题
AKA_Sky的专栏
07-20 679
java.lang.NoSuchMethodException: org.apache.catalina.deploy.WebXml addFilter at org.apache.tomcat.util.IntrospectionUtils.callMethod1(IntrospectionUtils.java:855) at org.apache.tomcat.util.digester.
desc: Illegal number of columns,
09-09
<think> 我们正在讨论的是LaTeX中的错误“Illegal number of columns”。这个错误通常发生在使用表格环境或多列环境时，指定了错误数量的列。 例如，在tabular环境中，我们使用{l c r}指定三列，但如果在表格体中出现了多于三列的数据，就会报错。 解决步骤： 1. 检查表格环境中的列格式声明是否与实际列数匹配。 2. 检查表格体中的每一行是否都有相同数量的列，特别注意不要忘记某行的结束符`\\`，也不要多写`&`。 3. 如果使用了\multicolumn命令，确保它不会破坏总列数（比如，一个\multicolumn{2}{c}{...}会占用两列的位置，那么该行其他部分就应该少两列）。 示例： 错误示例： \begin{tabular}{l c r} A & B & C \\ D & E & F & G % 这里多了一列 \end{tabular} 正确写法： \begin{tabular}{l c r} A & B & C \\ D & E & F \end{tabular} 或者，如果确实需要四列，应该修改列格式为四列，比如{l c c r}。 另一个常见问题是在使用数组（array）环境或矩阵环境（如bmatrix）时，列数不一致。 例如，在矩阵中： \[ \begin{bmatrix} 1 & 2 & 3 \\ 4 & 5 % 这里少了一列 \end{bmatrix} \] 这将导致错误，因为第一行有三列，而第二行只有两列。 因此，需要确保矩阵中每一行都有相同的列数。 另外，如果使用了\hline命令，注意它不会占用列的位置，所以不会导致列数错误。 总结：仔细检查表格或矩阵中每一行的列数是否一致，并且与列格式声明的列数一致。 </think> ### 解决 "Illegal number of columns" 错误的方法 在数据处理和表格操作中，"Illegal number of columns" 错误通常由列数不匹配引起。以下是系统化的解决方案： #### 1. **检查数据导入一致性** - 验证数据源的列数是否与处理代码中的预期一致 - 使用 Python 示例： ```python import pandas as pd try: df = pd.read_csv('data.csv') print(f"列数验证通过：{len(df.columns)}列") except pd.errors.ParserError as e: print(f"列数错误：{e}") ``` #### 2. **检查列分隔符** - 确保分隔符（逗号、制表符等）与数据格式匹配 - 不一致的分隔符会导致列计数错误 - 修复代码： ```python # 指定分隔符 df = pd.read_csv('data.csv', sep='\t') # 适用于制表符分隔 ``` #### 3. **处理缺失值** - 多余的逗号或空字段会导致额外列： ``` ID,Name,Age 1,John,25 2,Mary,, # 此行会创建第四列 ``` - 解决方案： ```python # 自动修正多余分隔符 df = pd.read_csv('data.csv', skipinitialspace=True) ``` #### 4. **验证表格创建代码** - 在 LaTeX/HTML 表格中检查列声明： ```latex \begin{tabular}{|c|c|c|} % 声明3列 A & B & C \\ ✓ 正确 D & E \\ ✗ 错误：缺少1列 \end{tabular} ``` #### 5. **检查转义字符** - 引号内的分隔符可能被错误解析： ```csv ID,Message 1,"Hello, world" # 逗号不会被识别为列分隔符 ``` - 添加转义处理： ```python df = pd.read_csv('data.csv', escapechar='\\') ``` #### 6. **调试工具使用** - 使用数据验证工具： ```bash csvclean data.csv # 使用csvkit工具包 ``` - 在 Python 中预检查： ```python with open('data.csv') as f: for i, line in enumerate(f): if len(line.split(',')) != expected_columns: print(f"第{i+1}行列数异常") ``` #### 预防建议： 1. 使用数据概要分析： $$ \text{列数标准差} = \sqrt{\frac{1}{n}\sum_{i=1}^{n}(c_i - \bar{c})^2} $$ 其中 $c_i$ 是每行列数，$\bar{c}$ 是平均列数 2. 添加数据预处理层： ```python def normalize_columns(source_file, target_file, expected_cols): with open(source_file) as src, open(target_file, 'w') as tgt: for line in src: cols = line.strip().split(',') if len(cols) == expected_cols: tgt.write(line) ``` > **关键点**：此错误本质是数据维度不一致问题，多发生在数据源变更未同步更新解析规则时[^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Direction_Wind

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值