Doris报错：You can change the limit by session variable exec_mem_limit

原创 已于 2023-04-11 16:47:21 修改 · 3.9k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据

于 2022-05-07 10:59:11 首次发布
本文档介绍了Doris查询时遇到的内存溢出错误，详细解析了错误信息，包括`Memory exceed limit`的含义。通过执行`show variables like 'exec_mem_limit'`命令，发现默认内存限制为2147483648字节。为解决此问题，使用`SET GLOBAL exec_mem_limit=8589934592`命令将内存限制提高到8GB，并说明需重启FE以使更改生效。这是一个关于数据库管理和性能优化的技术文章。

1. Doris查询时报以下错误，翻译以下应该是内存溢出

errCode = 2, detailMessage = Memory exceed limit. New partitioned Aggregation in spill Backend: ip, fragment: 19530b73ae33475a-9fd4089caca411c3 Used: 2525366160, Limit: -1. You can change the limit by session variable exec_mem_limit.

2. 执行下面命令查看 exec_mem_limit 内存是2147483648字节

show variables like "exec_mem_limit";

3.通过下面命令修改exec_mem_limit 内存

SET GLOBAL exec_mem_limit = 8589934592;


4.然后重启FE生效 

Doris实战——特步集团零售数据仓库项目实践
爱吃辣条的博客
03-03 2231
Doris实战——特步集团零售数据仓库项目实践
解决Doris中的errCode = 2, detailMessage = String Type should not be used in key column[id].
念兮为美
10-12 8731
解决执行失败: Error Failed to execute sql: java.sql.SQLException: (conn=14) errCode = 2, detailMessage = String Type should not be used in key column[id].的问题
容器使用超过了虚拟内存的限制大小，该容器被杀死，导致作业提交失败
05-04 2850
is running beyond virtual memory limits. Current usage: 53.7 MB of 1 GB physical memory used; 4.4 GB of 2.1 GB virtual memory used. Killing container. 容器使用超过了虚拟内存的限制大小，该容器被杀死，导致作业提交失败physical mem
Memory Limit Exceeded（内存超限）
热门推荐
team39的博客
12-05 6万+
Memory Limit Exceeded（内存超限） 出现超内存时我们需要对自己的程序的空间复杂度进行优化，此处的空间复杂度是与时间复杂度相对应的。 空间复杂度： 空间复杂度(Space Complexity)是对一个算法在运行过程中临时占用存储空间大小的量度，记做S(n)=O(f(n))。比如直接插入排序的时间复杂度是O(n^2),空间复杂度是O(1) 。而一般的递归算法就要有O(n)的...
doris 1064 - errCode = 2, detailMessage = Exceeded the maximum number of child expressions (10000).
weixin_43581113的博客
01-24 5533
doris 1064 - errCode = 2, detailMessage = Exceeded the maximum number of child expressions (10000). 因为 where in (list) list太长 可以用多个or拼接
Doris学习笔记之查询
四国棋客
07-16 6008
一个查询任务在单个BE结点上使用的内存默认不超过2GB，如果超过，可能会出现Memory limit exceeded。查看内存限制： 的单位是byte，可通过改变t的值： 该命令只针对当前会话，如需永久有效，则要添加global参数： 修改超时时间 默认最长查询时间为300s，如果超时未完成，则会被取消掉，查看配置： 设置方法同exec_mem_limit。当部署多个FE结点时，用户可以在多个FE之上部署负载均衡层来实现Doris的高可用。自己在应用层代码进行重试和负载均衡。比如发现一个连接挂掉，就自动在
ClickHouse 查询时报错：Memory limit (for query) exceeded: would use 9.38 GiB
赵英超的博客
12-30 5910
ClickHouse
Doris 修改 mem_limit
ElcarimQ的博客
07-05 3447
try to allocate a new buffer failed:Memory limit exceeded: could not allocate 16.88 B without exceeding limit,
分页查询后面的页码报错exceeding the allowed memory limit for a single SQL query
zxlll111的博客
11-24 733
通过优化查询条件、使用覆盖索引、使用键值分页、分批处理数据以及使用临时表，你可以有效减少分页查询在处理大数据量时的内存消耗，避免 exceeding the allowed memory limit for a single SQL query 错误。
记一次 Starrocks be 内存异常宕机
qq_15138049的博客
05-29 1094
突发性 be 内存飙高，直至被系统 kill 掉，be 内存如下：其中指标打满，重启也是如此看到被 kill 了每次重启 be 都会去拉起 tablet: 3544744及。
解决Apache Doris占用CPU和内存过高
ronshi的博客
06-11 4588
解决Apache Doris占用CPU和内存过高
Doris--基础--06--设置内存
zhou920786312的博客
03-08 6990
【代码】Doris--基础--06--设置内存。
Doris内存超限错误分析
学亮编程手记
10-14 3335
值相同，具体可参考： https://serverfault.com/questions/940196/why-is-memavailable-a-lot-less-than-memfreebufferscached https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/commit/?后，可以在单次查询内存超限时，在 log/be.INFO 中打印日志，用于确认当前查询内存使用是否符合预期。是系统总内存，取值同样来自。
doris exec_mem_limit 参数详解：控制单个查询的最大内存使用量
学亮编程手记
05-27 1163
是 Apache Doris 中防止单个查询内存过载的重要参数，提供了多种灵活的配置方式，可根据系统资源和查询需求进行调整。合理设置该参数有助于提升系统稳定性和查询性能，同时避免因内存不足导致的查询失败问题。是 Apache Doris 中一个重要的内存限制参数，用于控制单个查询的最大内存使用量。它的目的是防止单个查询占用过多内存，从而影响整个系统的稳定性。当查询内存使用量超过。重启 FE 后生效。
doris be exec_mem_limit 参数详解：控制单个查询在执行过程中所能使用的最大内存量
学亮编程手记
02-18 738
是 Apache Doris（原名 Palo）中的一个重要配置参数，主要用于控制单个查询在执行过程中所能使用的最大内存量。合理设置此参数对于确保查询性能和系统稳定性至关重要。
频繁FullGC的排查
Jaemon
07-08 986
频繁FullGC的排查
doris随着运行时间，fe 运行内存增加速率过快，严重占用集群内存
G1170779850的博客
04-26 2822
前几天遇到了doris 集群内存资源不足，使用top命令，发现fe占用内存过大一直不释放资源问题，本身集群服务器配置就低，严重影响doris使用。使用show processlist命令 发现sleep会话过多，集群默认的sleep会话释放时间是8个小时。于是进行了fe重启。两天后发现fe运行内存已经增加了8g多，通过查询资料，但是只见增加，不见变小，问了做java开发的同事，同事说程序像貔貅，只进不出，不会释放，将释放时间设置为5分钟，再检测fe增加速率，发现两周只增加了1g。
doris中有参数exec_mem_limit吗，怎么查询
最新发布
08-22
### 查询方法 在 Apache Doris 中，可以通过以下几种方式查询 `exec_mem_limit` 参数的当前值： 1. **查询当前会话的 `exec_mem_limit` 值** 使用以下 SQL 语句可以查看当前会话的 `exec_mem_limit` 设置： ```sql SHOW VARIABLES LIKE 'exec_mem_limit'; ``` 这条命令将显示当前会话的 `exec_mem_limit` 值，单位为字节[^3]。 2. **查询全局的 `exec_mem_limit` 值** 如果需要查看全局的 `exec_mem_limit` 设置，可以使用以下 SQL 语： ```sql SHOW GLOBAL VARIABLES LIKE 'exec_mem_limit'; ``` 这条命令会显示全局级别的 `exec_mem_limit` 值，单位为字节。 3. **通过 BE 节点的配置文件查看** `exec_mem_limit` 参数主要与 Doris 的 Backend (BE) 节点相关，因为它控制的是查询在 BE 节点上的内存使用。可以在 BE 节点的配置文件中查看默认值，但此参数通常是动态的，可以通过 SQL 语句进行调整[^2]。 4. **通过 FE 节点的配置文件查看** 虽然 `exec_mem_limit` 是一个可以在会话级别或全局级别设置的动态参数，但它的默认值可能在 FE 节点的配置文件中定义。可以通过查看 FE 节点的配置文件来了解默认值设置[^1]。 ### 参数的动态调整 `exec_mem_limit` 是一个动态参数，可以通过 SQL 语句进行调整，而无需重启 Doris 集群。以下是一些常见的调整方式： 1. **临时调整当前会话的 `exec_mem_limit` 值** 可以通过以下 SQL 语句临时调整当前会话的 `exec_mem_limit` 值，单位为字节： ```sql SET exec_mem_limit = 4294967296; -- 设置为4GB ``` 此设置仅对当前会话有效，会话结束后将恢复为默认值。 2. **永久调整全局的 `exec_mem_limit` 值** 如果需要永久调整全局的 `exec_mem_limit` 值，可以使用以下 SQL 语句： ```sql SET GLOBAL exec_mem_limit = 4294967296; -- 设置为4GB ``` 此设置将影响所有新建立的会话，但不会影响已经存在的会话[^3]。 ### 参数的限制关系 在实际使用中，`exec_mem_limit` 的值还受到 `statics_sql_mem_limit_in_bytes` 参数的限制。`statics_sql_mem_limit_in_bytes` 是一个系统级硬限制，所有查询都不能超过此内存上限。因此，实际查询可用内存为两者中的较小值： ```sql 实际查询可用内存 = MIN(statics_sql_mem_limit_in_bytes, exec_mem_limit) ``` 这意味着即使设置了较高的 `exec_mem_limit` 值，如果 `statics_sql_mem_limit_in_bytes` 的值较低，查询仍然会被限制在 `statics_sql_mem_limit_in_bytes` 的内存上限内[^4]。 ### 使用场景与调优建议 - **小规模查询** 对于简单的查询，较低的 `exec_mem_limit` 值可能是足够的，这有助于节省系统资源供其他查询或操作使用。 - **大规模复杂查询** 当执行复杂的聚合、连接或其他需要大量内存的操作时，适当提高 `exec_mem_limit` 可以显著提升查询性能。然而，这也意味着更多的内存将被单一查询占用，因此需要权衡考虑。 - **并发查询优化** 在高并发环境下，合理分配每个查询的内存限制非常重要。过高的 `exec_mem_limit` 设置可能导致多个同时运行的查询之间发生内存竞争，影响整体系统性能。 ### 示例 以下是一个完整的示例，展示如何查询和调整 `exec_mem_limit` 参数： ```sql -- 查询当前会话的 exec_mem_limit 值 SHOW VARIABLES LIKE 'exec_mem_limit'; -- 查询全局的 exec_mem_limit 值 SHOW GLOBAL VARIABLES LIKE 'exec_mem_limit'; -- 临时调整当前会话的 exec_mem_limit 值为4GB SET exec_mem_limit = 4294967296; -- 永久调整全局的 exec_mem_limit 值为4GB SET GLOBAL exec_mem_limit = 4294967296; -- 执行一个大查询 SELECT * FROM large_table JOIN ...; ``` ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值