当使用ClickHouse执行涉及group by, order by, distinct或join等操作的SQL查询时，可能会遇到内存超出限制的问题。错误信息提示max_memory_usage超过设定值。解决方案包括调整max_bytes_before_external_group_by和max_bytes_before_external_sort参数，使用uniq系列函数优化唯一性计数，以及在Join操作中将小表置于右侧以减少内存消耗。"
103286051,7528190,理解区块链DApps：架构、API与开发,"['区块链', 'DApp开发', '以太坊', '智能合约', '去中心化']
文章目录
1.概述
clickhouse报错：Memory limit (for query) exceeded:would use 9.37 GiB (attempt to allocate chunk of 301989888 bytes), maximum: 9.31 GiB
分析：
- max_memory_usage指定单个SQL查询在该机器上面最大内存使用量
- 除了些简单的SQL，空间复杂度是O(1) 如:
select count(1) from table where column=value
select column1, column2 from table where column=value
凡是涉及group by, order by, distinct, join这样的SQL内存占用不再是O(1)
解决：
1： max_bytes_before_external_group_by
2： max_bytes_before_external_sort
3： uniq / uniqCombined / uniqHLL12
4： Join时小表放到右边， “右表广播” ^v
扫一扫
527
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
