qq5621的博客

AST is too big;问题处理

测试环境，clickhouse 大概有3个亿的数据。业务场景：综合报表，查询一周内的报表数据统计。需要绘制的图表有接近20个，采用ForkJoin 多线程处理。数据库连接：Hikari，默认最大数据库连接数为10，连接超时时间为10s。其次，采用ForkJoin多线程处理，一旦有多线程同时处理且单个线程处理时间过长时，就有可能会连接数超过10，且连接超时时间超过10s，就会抛出连接超时异常。首先，默认最大数据库连接数为10，数量较小（主要），连接超时时间为10s，时长偏短（次要）;

项目之前用的是 `Postgresql` 数据库，但因为日志相关数据量比较大入库效率很低，而且关于日志相关的数据查询效率也在变慢。所以决定启用 `clickhouse`，因为 `clickhouse` 支持大量数据的批量入库，并且查询效率也极高（战斗民族开发的，可想而知，简单粗暴，极致追求效率）。引入 `clickhouse` 只针对日志相关的数据库，其他业务相关的数据库表依然沿用 `Postgresql`，所以项目要支持多数据源。

Clickhouse 重启失败问题记录