ClickHouse AST is too big 报错问题处理记录

原创于 2023-08-16 16:39:57 发布 · 1.8k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#clickhouse

clickhouse 专栏收录该内容

4 篇文章

订阅专栏

文章讲述了项目中ClickHouse遇到ASTistoobig报错的问题，通过修改系统配置（增大max_ast_elements和max_expanded_ast_elements）以及优化业务逻辑（拆分查询条件、多线程查询）来解决。

ClickHouse AST is too big 报错问题处理记录

问题描述

项目中统计报表的查询出现 AST is too big 问题，报错信息如下：
在这里插入图片描述

问题分析

报错信息显示 AST is too big。
AST 表示查询语法树中的最大元素数。如果超出，则抛出异常。默认情况下是10,000，项目上配置了 50000，但还是不够用。

解决方案

1、修改系统配置

在 user.xml 配置文件中，添加如下配置

<max_ast_elements>10000000</max_ast_elements>
<max_expanded_ast_elements>10000000</max_expanded_ast_elements>

2、修改业务逻辑

查询过长的话，查询性能也会很差。相比于修改系统配置，修改业务代码更优。
因为查询SQL中拼接的条件太多，导致查询SQL过长，所以通过将查询条件拆分成多段，分段查询，减少查询条件的同时也可以缩短查询SQL，既可以防止查询SQL过长，也可以提升查询性能。最后如果觉得分段后遍历查询响应时间较长的话，可以通过线程池使用多线程来减少响应耗时。