pymysql.err.OperationalError: (1105, ‘Out Of Memory Quota![conn_id=225186]‘)

最新推荐文章于 2024-05-02 01:00:57 发布
最新推荐文章于 2024-05-02 01:00:57 发布
阅读量1.3w 收藏 3
点赞数 1
分类专栏： tidb
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/csdnhsh/article/details/115263443
版权
在使用Python向TiDB 4.0集群写入数据后，执行增量范围查询时遇到了'OutOfMemoryQuota'错误，原因是'mem-quota-query'参数默认限制为1GB。为解决此问题，可以考虑调整该参数值增大内存配额，例如设置为10GB，同时优化SQL以减少内存使用。此外，还可以修改其他相关配置如'max-index-length'、'log.query-log-max-len'和'log.file.max-days'，然后通过'tiup cluster reload'命令应用配置更新。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 

python往tidb4.0的集群里面写入数据后进行增量范围查询，报错：
pymysql.err.OperationalError: (1105, 'Out Of Memory Quota![conn_id=225186]')

image

 

原因分析：

在 4.0 版本中 mem-quota-query这个参数默认为1G，所以有大 sql 超过1G 会报错

解决办法：

可以考虑适当调大参数值，或者尝试优化sql，降低内存使用。

 

解决：

1、修改配置文件：tiup cluster edit-config test-cluster

server_configs:
  tidb:
    # 以字节为单位设置查询的内存配额。4.0默认1G
    mem-quota-query: 10737418240
    # 设置最大索引长度
    max-index-length: 12288
    # 最长的 SQL 输出长度。(变更)4.0需要修改
    log.query-log-max-len: 6000
    # 设置日志保留天数
    log.file.max-days: 10

 2、加载配置文件使修改生效：tiup cluster reload tidb-dev -R tidb,tikv

 

参考文章：

在线修改-tidb-配置

4.0修改参数

TiDB配置文件

捕捉异常sqlalchemy.exc.OperationalError:(pymysql.err.OperationalError) (1049, “Unknown database ‘**‘“)失败
唯有热爱 可抵万难
05-29 923
这部分代码进行异常捕捉时，发现打印的结果是异常sqlalchemy.exc.OperationalError:(pymysql.err.OperationalError) (1049, "Unknown database '**'") 和 2，这就说明第一次捕捉异常失败，所以走了通用异常捕捉。此时 用sqlalchemy.exc.OperationalError 来替代原来的pymysql的异常，即可正常捕捉该异常，完成数据库创建工作。
【异常】OperationalError: (pymysql.err.OperationalError) (1045, “Access denied for user
本本本添哥
10-30 506
如果该用户不存在或者权限不足，你需要创建用户或授予权限。连接到 MySQL 数据库时，由于提供的密码不正确或该用户没有权限从指定的主机连接到数据库，导致访问被拒绝。确保你使用的用户名和密码是正确的。这包括确认没有拼写错误，并且密码与MySQL服务器上设置的一致。是否存在以及它是否有权从该IP地址访问数据库。登录到MySQL服务器（通常使用具有管理员权限的账户），然后检查用户。这个错误信息表明，当尝试使用用户名。
TIDB-Error 1105: Out Of Memory Quota问题解决
line_on_database的博客
05-20 6514
一、背景 复杂sql查询报错 二、原因 单条s q l使用内存默认为1G 三、解决 tiup clusteredit_config tidb-test server_configs: tidb: mem-quota-query: 4294967296 # 修改大小 tiup cluster reload tidb-test -R tidb 问题解决 ...
out of memory
交通部PC167
11-22 965
1、 PermGen space的全称是Permanent Generation space,是指内存的永久保存区域OutOfMemoryError: PermGen space从表面上看就是内存益出，解决方法也一定是加大内存。说说为什么会内存益出：这一部分用于存放Class和Meta的信息,Class在被 Load的时候被放入PermGen space区域，它和存放Instance的Heap区域
mysql出现out of memory错误的解决方法
hzcyclone的专栏
12-24 3万+
    最近网站访问量一大，访问数据库就是出现out of memory错误，查看my.cnf文件，发现tmp_table_size=256M，分配给内部临时表的内存太小了，我将它提高到512M。当然sql语句也肯定有问题，优化了部分sql，比如查询数据的总和，为什么不用sql里的count（id），而取出所有的数据，再用php的count函数呢？
内存溢出（OutOfMemoryError）
风雪傲月的博客
03-07 799
内存溢出： 内存溢出（out of memory）就是内存不够，当所需要的内存超出分配的内存时，就会导致内存溢出。 比如下面的程序： List list=new ArrayList(); while(true) {    list.add("你好"); } 出现异常：         内存溢出在系统开发和测试阶段并不容易被发现，当系统正式上线一般时间后，操作的并发量上
python连接mysql数据库报错pymysql.err.OperationalError
liu_xue_xue的专栏
09-15 4622
2、可能新版mysql默认使用的caching_sha2_password认证方式，换成mysql_native_password就可以。2、进入msql服务，执行mysql -u root -p 回车，输入密码，也可以通过navicat/DBeaver连接数据库。优化思考，一般程序里头不会直接使用root，权限范围过大，这里新建用户，并授予特定数据库权限，供ai服务使用。1、创建账号：ai_user，密码：pw@666的用户。4、刷新内存，重新加载权限信息。3、刷新内存，重新加载权限信息。
正确解决pymysql.err.OperationalError: (1142, ‘Unknown error 1142‘)异常的有效解决方法
wbajsjhhhhh的博客
05-02 3122
正确解决pymysql.err.OperationalError: (1142, 'Unknown error 1142')异常的有效解决方法
关于python使用DBUtils建立连接池连接数据库报错pymysql.err.OperationalError: (2014, 'Command Out of Sync')
weixin_44816899的博客
10-15 2267
我的爬虫程序使用了DBUtils建立了数据库连接池，目前在windows上运行没有问题，但在centos上运行会出现如下报错，困扰了两天了，特发此贴请教下各位大佬，感激不尽 Traceback (most recent call last): File "/usr/lib64/python3.6/multiprocessing/process.py", line 258, in _bootst...
Pythonerror：pymysql.err.OperationalError: (1045, “Access denied for user ‘root’@‘192.168.216.1’
qq_44176343的博客
03-29 1171
问题展示： 在这里插入图片描述 pymysql.err.OperationalError: (1045, “Access denied for user ‘root’@‘192.168.216.1’ (using password: YES)”)
对 /dev/shm 认识
mmliuyiding的博客
09-23 1万+
一、/dev/shm理论 /dev/shm/是linux下一个非常有用的目录，因为这个目录不在硬盘上，而是在内存里。因此在linux下，就不需要大费周折去建 ramdisk，直接使用/dev/shm/就可达到很好的优化效果。 /dev /shm/需要注意的一个是容量问题，在linux下，它默认最大为内存的一半大小，使用df -h命令可以看到。但它并不会真正的占用这块内存，如果/dev/shm/下没有任何文件，它占用的内存实际上就是0字节；如果它最大为1G，里头放有 100M文件，那剩余的9...
python远程链接Mysql报错pymysql.err.OperationalError的处理
热门推荐
LaiCheng的博客
11-29 5万+
import pymysql conn = pymysql.Connect(host='192.168.255.255',user='laicheng',passwd='135246',db='test_sql') cur = conn.cursor() cur.execute("select version()") for i in cur: print(i) cur.close()
mysql8.0以上解决密码错误pycharm连接报错pymysql.err.OperationalError
长门yuki
04-11 1229
最近用python跑一个数据库项目，下载的mysql8.0.23。结果报错 pymysql.err.OperationalError: (1290,......) 原因是因为新版mysql的密码验证方式更新了，安装的时候有个很大的感叹号确定加密方式，结果我按着默认安装了，所以就自讨苦吃了。我到现在也没整明白为什么设计新版这种费力不讨好的密码验证 。 新版mysql使用的caching_sha2_password认证方式，换成原来的mysql_native_password就可以。新版的密码首次输入的密码实
TiDB深度翻译出现内存溢出问题
luostudent的博客
09-21 4566
为什么SQL会占用到这么大的内存，怎么查看执行计划，怎么调优
doris查询报错err: Error 1105: errCode = 2, detailMessage = Memory limit exceeded:＜consuming tracker:...
syw_s的博客
02-10 1万+
doris查询内存限制的解决
doris查询报错err: Error 1105: errCode = 2, detailMessage = query timeout
eagle89的专栏
12-07 5301
doris查询报错err: Error 1105: errCode = 2, detailMessage = query timeout
sqlalchemy.exc.operationalerror: (pymysql.err.operationalerror) (1045, 报错 （已解决）
weixin_63903477的博客
05-09 7893
3.版本问题,也就是我这个问题，这个bug搞了我一下午 ，想着换个版本试一下结果就可以了。MySQL8.0的首选默认认证插件是caching_sha2_password，1.密码错误 2. 字符编码 错误 3.版本问题 ,4 权限问题。4.访问权限 ,用户只允许在本地连接，修改成指定ip 或者 %可以通过 cmd 尝试登入mysql 如果可以登入可以排除。而不是mysql_native_password。解决方法1：.使用mysql 5.7 版本。为了提供更安全的密码加密，
flask db upgrade问题：(pymysql.err.OperationalError) (1050, “Table ‘emailcaptcha‘ already exists“)解决办法
qq_69834343的博客
08-09 736
flask db upgrade问题：(pymysql.err.OperationalError) (1050, "Table 'emailcaptcha' already exists")解决办法，本人小白自用
TiDB 内存控制文档
weixin_42241611的博客
07-17 1320
目前TiDB已经能够做到追踪单条SQL查询过程中的内存使用情况，当内存使用超过一定阈值后也能采取一些操作来预防OOM或者排查OOM原因。你可以使用系统变量LOGCANCEL。
pymysql.err.OperationalError: (1364, "Field 'idnew_table' doesn't have a default value")
最新发布
03-26
### 错误分析 `pymysql.err.OperationalError: (1364, "Field 'Id' doesn't have a default value")` 表明在尝试向数据库表中插入数据时，某个字段（这里是 `Id` 或其他类似的字段名）缺少必要的值[^3]。此错误通常发生在以下情况： - 数据库表定义了一个字段为 **NOT NULL**，但在执行插入操作时未提供该字段的值。 - 字段没有设置默认值。 因此，在这种情况下，需要确保每次插入记录时都显式指定所有必需字段的值，或者修改数据库结构以允许自动填充这些字段。 --- ### 解决方案 #### 方法一：调整 SQL 插入语句 如果无法更改数据库设计，则需在 Python 脚本中明确传递所需字段的值。以下是修正后的代码示例： ```python import pymysql try: # 建立数据库连接 connection = pymysql.connect( host='localhost', user='root', password='password', database='mydatabase' ) with connection.cursor() as cursor: # 明确指定要插入的数据及其对应的字段名称 sql_query = """ INSERT INTO mytable (`id`, `name`, `age`) VALUES (%s, %s, %s); """ data_to_insert = (1, "John Doe", 28) # 替换实际数据 cursor.execute(sql_query, data_to_insert) connection.commit() except pymysql.err.OperationalError as e: print(f"发生错误: {e}") finally: if connection.open: connection.close() ``` 在此方法中，通过将 `id` 的具体数值传入查询字符串来解决问题。 --- #### 方法二：更新数据库表结构 另一种更灵活的方式是对数据库中的目标表格进行结构调整，使得某些列可以自动生成唯一标识符或接受空值。可以通过运行如下 SQL 来实现这一目的： ```sql ALTER TABLE mytable MODIFY COLUMN id INT AUTO_INCREMENT PRIMARY KEY; ``` 这条命令的作用是让 `id` 列成为主键并启用自动增长功能，从而无需再手动为其分配具体的整数值得到解决。 注意：执行此类变更前应备份现有数据以防万一。 --- #### 方法三：设定字段默认值 当不希望某特定字段采用递增模式却仍想避免重复输入固定内容时，可考虑赋予它一个合理的缺省选项。例如对于日期型属性来说常用当前时刻作为初始状态；而对于布尔逻辑则往往取假定初态False/True等等。下面展示如何针对不同类型的资料建立预设规则的例子: ```sql -- 设置 name 默认为空字符串 "" ALTER TABLE mytable ALTER COLUMN name SET DEFAULT ''; -- 设定 age 默认为零岁 0 ALTER TABLE mytable ALTER COLUMN age SET DEFAULT 0; -- 安排 created_at 自动获取此刻的时间戳 NOW() ALTER TABLE mytable ADD COLUMN created_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP; ``` 以上步骤能够有效减少程序端处理负担的同时也提高了系统的健壮性和一致性。 --- ### 总结 综上所述，面对由于缺失必要参数引发的操作失败异常状况，可以从三个方面入手加以改善——即完善客户端提交的信息完整性、优化后台存储机制以及合理配置实体模型特性之间的关系。每种策略各有优劣适用于不同的应用场景下，请依据实际情况选取最合适的解决方案予以实施。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值