DORIS-sql-bug记录

原创已于 2024-10-30 17:16:47 修改 · 869 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#数据仓库 #sql

于 2023-11-27 16:16:15 首次发布

本文介绍了在使用DORIS-SQL过程中遇到的问题，涉及不同版本的bug修复情况，如1.2.4版本的SQL函数缺失导致BE宕机，以及1.1.4版本中NULL值处理引发的问题。作者建议根据问题版本定位并解决服务故障。

说明：

使用DORIS-SQL过程中，问题BUG对应的版本记录

不同版本可能有相同问题，相同问题也可能会在新的版本已经修复掉，遇到可以参考问题原因定位
持续更新...

正文：

version：selectdb-doris-1.2.4-0-562c68d

错误结果：服务宕机

sql:

SELECT FIELD("c", "a", "b", "c", "d", "e");

问题：

由于当前版本没有这个sql函数，会导致，对应的执行sql的BE挂掉

错误结果：数据写入失败

sql:



drop table if exists table_name;
create table if not exists table_name (

) ENGINE=OLAP
    UNIQUE KEY()
COMMENT ""
DISTRIBUTED BY HASH() BUCKETS 10
PROPERTIES ("enable_unique_key_merge_on_write" = "true"
);

问题：

在建表时开启写合并后，发现当数据量过大时，会有数据写入失败的情况（sql执行成功，但实际没有数据写入），测试数据量在900w+

错误结果：数据查询时显示数据异常

sql:

-- 建表语句demo

-- Duplicate KEY数据模型下，

-- 分桶列存在，一列非空，另外一列为空数据

 ENGINE=OLAP
Duplicate KEY(`aaa`, `bbb`,`ccc`, `ddd`,`eee`,`fff`,`ggg`,`hhh`)
COMMENT ""
DISTRIBUTED BY HASH(`aaa`, `bbb`,`ccc`, `ddd`,`eee`,`fff`,`ggg`,`hhh`) BUCKETS 10
PROPERTIES (
"replication_num" = "3"
);

问题:

在分桶列中存在，一列非空，另外一列为空的数据时，每次查询的数据的结果可能不同。在数据未发生变化的情况，根据某个主键查询数据，出现有时数据可以查询到，有时数据无法查询到。

这种场景会在

insert into table

select NULL as aaa,xxx as bbb from table1

union all

select xxx as aaa,NULL as bbb from table2

中可能出现

猜测：

部分列为空导致 hash后数据写入异常。

解决方式：

避免Duplicate KEY中key值中存在部分列为空的字段大量存在，分桶列中也减少部分key列为空。

错误结果：表中a列存在等于X的值，但是当执行a="x"，无法查询到

sql:

select * from tab1 where a ="X"

猜测：

数据分布式存储，为加速数据查询命中，在不同机器查询优化的hash值可能不一样，导致无法命中。

解决方式：

在对列进行二次处理，比如使用like 代替 "="，或者对列使用一些不改变原值的函数处理，如trim。

select * from tab1 where trim(a) ="X";

select * from tab1 where a like "%X%";

备注：这个问题在1.x多个版本中复现；多出现在varchar类型；使用字段关联时也可能会出现；在某个表出现后，使用这个表的数据做二次处理后写入的表，也可能会出现。造成原因未定位到。

错误结果：not in 结果异常。本应正常查询出未在子集中的数据，但是未返回任何数据。

sql:

select * from (
SELECT  "111" as a  
union all 
SELECT "222" 
)t 
where a not  in 
(
select * from (
select "111"
union all 
select NULL
)t 
);
-- 返回空数据集合

select * from (
SELECT  "111" as a  
union all 
SELECT "222" 
)t 
where a not  in 
(
select * from (
select "111"
)t 
);
--- 正常返回 "222"

问题：当not in 子查询时的数据集中有为NULL的值，not in 无法返回正常的数据列表。剔除掉为NULL的值后，可以正常返回。

解决sql:

select * from (
SELECT  "111" as a  
union all 
SELECT "222" 
)t 
where a not  in 
(
select * from (
select "111" as b 
union all 
select NULL
)t  where b is not null 
)

--- 正常返回 "222"

version：1.1.4-rc01-Unknown

错误结果：服务宕机

sql:

## 当a列中的值都为NULL时

select a,count(1) from tab1 group by a

问题：

当a列中的值都为NULL时，会导致对应执行sql的BE宕机。如果发现执行 group by-后，发现be宕机，可以优先检查聚合列的数据情况