mysql分区报错：Too many partitions (including subpartitions) 处理

最新推荐文章于 2023-11-23 23:10:36 发布
原创 最新推荐文章于 2023-11-23 23:10:36 发布 · 2.8k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库

本文记录了一次因SQL脚本中PARTITION语句过多导致执行失败的问题排查过程。通过逐步减少分区数量，最终将按年份拆分脚本并分别执行，成功解决了问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

某日，某项目，单表过大，需要作partition, 根据计算，打算按天分区，一天一个区，写了个脚本，生成了上10年的分区SQL脚本，共分了几千个区，执行，报如下错：

ERROR 1499 (HY000) at line 1: Too many partitions (including subpartitions) were defined

 

google了baidu了良久，照方案说的修改open_files_limit的大小，show 了一下，open_files_limit = 1000000，已经很大了，再改大些。 操作， 结果还是报同样的错误。

 

想找到partitions 极限是多少，于是一个一个地减少。后来发现，真正的原因是：一个SQL脚本里PARTITION语句太多才执行失败。 找到了原因，按年分成不同的脚本，每个单独执行。 问题得到了解决。

mysql 创建分区出错_mysql添加分区导致数据库异常
weixin_32310195的博客
02-17 1186
前段时间在给数据库增加分区时导致了一个异常; uncategorized SQLException for SQL []; SQL state [HY000]; error code [23]; Out of resources when opening file '/export/data/mysql/tmp/ML5P97Os' (Errcode: 24 - Too many open file...
clickhouse配置项users.xml详解
Aiky哇
11-17 1万+
说明 ClickHouse支持基于RBAC方法的访问控制管理。（关于RBAC的介绍） 作为一个分析类型（OLAP）的数据库系统，相对于MySQL数据库在用户管理方面有很大不同，clickhouse支持使用两种方式配置访问实体： 一是通过sql直接设置，这也是官方推荐的，但是需要至少一个用户帐户启用SQL驱动的访问控制和帐户管理，这需要使用第二种方式设置access_management 二是通过配置文件users.xml，默认位置在/etc/clickhouse-server目录下，ClickHou
mysql subpartitions_mysql分区报错：Too many partitions (including subpartitions) 处理
weixin_39684235的博客
02-09 1119
某日，某项目，单表过大，需要作partition, 根据计算，打算按天分区，一天一个区，写了个脚本，生成了上10年的分区SQL脚本，共分了几千个区，执行，报如下错：ERROR 1499 (HY000) at line 1: Too many partitions (including subpartitions) were definedgoogle了baidu了良久，照方案说的修改open_...
clickhouse jdbc报错：Too many partitions for single INSERT block (more than 100)
PowerMe
05-21 4379
通过clickhouse官方jdbc写入时报错：Too many partitions for single INSERT block (more than 100) 解决： 调整了建表时PARTITION BY分区字段，因为是从hive里读的，所以直接用了hive分区的值: PARTITION BY dt，之前用的add_time字段做分区：toYYYYMMDD(toDateTime(last_update_time, 'Asia/Shanghai'))，这个字段在同一批次写入里包括大于100个分区值，c
Clickhouse批量插入数据时报错：Too many partitions for single INSERT block
nil
11-28 1782
Clickhouse批量插入数据时报错：Too many partitions for single INSERT block
clickhouse报错Too many partitions for single INSERT block
最新发布
qq_35640866的博客
11-23 2099
我们是按照天分区， 开发一次写入了一年的数据，365天 365个分区。是因为一次写入的数据，超过100个分区，所以报错。和本次无的命令记录一下， 可以强制刷新临时表。调大了参数，解决这个问题。解决方法： 默认是100。
[转]高负载并发网站架构分析
bluehire的专栏
12-23 2万+
由于自己正在做一个高性能大用户量的论坛程序，对高性能高并发服务器架构比较感兴趣，于是在网上收集了不少这方面的资料和大家分享。希望能和大家交流 msn: defender_ios@hotmail.com ——————————————————————————————————————— ? 初创网站与开源软件 6 ? 谈谈大型高负载网站服务器的优化心得! 8 ? Lighttpd+Squid+Apach
Redis超详细总结
用代码征服天下
05-07 2188
NoSQL概述 一.数据存储的演化史 1.单机MySQL的美好年代 在90年代，一个网站的访问量一般都不大，用单个数据库完全可以轻松应付。在那个时候，更多的都是静态网页，动态交互类型的网站不多。 上述架构下，我们来看看数据存储的瓶颈是什么？ 1.数据量的总大小 一个机器放不下时 2.数据的索引（B+ Tree）一个机器的内存放不下时 3.访问量(读写混合)一个实例不能承受 如果满足了上...
mysql报1499_mysql8 参考手册--错误代码1494-1516
weixin_36124750的博客
02-28 623
错误号1494; 符号： ER_INCONSISTENT_TYPE_OF_FUNCTIONS_ERROR; SQLSTATE：HY000消息：VALUES值必须与分区函数具有相同的类型错误号1495; 符号： ER_MULTIPLE_DEF_CONST_IN_LIST_PART_ERROR; SQLSTATE：HY000消息：列表分区中相同常量的多个定义错误号1496; 符号： ER_PARTIT...
linux服务器6t硬盘分区,linux多块6T大硬盘分区挂载GPT分区
weixin_36349918的博客
04-29 1428
都说硬盘单块大于2T就不能用fidisk了，这次入了一台双6Ｔ硬盘的服务器，　IDC已经完成了GPT转换．把sdb硬格式并挂载了，然后sda除了系统之外，留下一大部分没动．现就把sda剩下的分区搞起来．expr fdisk -s /dev/sda / 1024查看硬盘空间　，发现有两个分区了，分区到第265M，建立第三个分区从265到全部．parted /dev/sda mkpart primar...
mysql too many open connections问题解决方法
12-15
曾经以为在my.cnf写入max_connections = 2000就可以改变mysql的最大并发量，今天查到一个命令，发现服务器的mysql最大连接数为151. 控制台，连接上mysql 代码如下:show variables;这条命令可以看到所有基础配置 如果单独看max_connections可以这样 代码如下:show variables like ‘max%’;+—————————-+————+| Variable_name | Value |+—————————-+————+| max_allowed_packet | 1048576 || max_binlog_cache_si
Table has no partition for value .....
Rorschach的博客
02-11 1万+
java.sql.SQLException:Table has no partition for value; Too many partitions (including subpartitions) were defined; Prior to MySQL 5.6.7, the maximum possible number of partitions for a given table not using the NDB storage engine was 1024.
hive 用mysql做metastore 分区查询报错
u013887751的博客
09-27 757
select * from part_user where datetime='2015-09'; FAILED: SemanticException MetaException(message:You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version
离鸿围
knifewei的专栏
11-11 1709
<br />梦  <br />醒<br />晓风残，<br />流水寒。<br />叶落孤雁远，<br />花飞长亭边。<br />萋萋乱草染清秋，<br />萧萧晨雨话离愁。<br />昨夜星辰清，<br />今朝耳目浊。<br />人已去，<br />酒未干。<br />离<br />别
spark用程序提交任务到yarn Spark自定义分区(Partitioner) textfile使用小技巧 createDirectStream
qq_36864672的博客
12-07 986
因为spark文档中只介绍了两种用脚本提交到yarn的例子，并没有介绍如何通过程序提交yarn，但是我们的需求需要这样。网上很难找到例子，经过几天摸索，终于用程序提交到yarn成功，下面总结一下。 先介绍官网提交的例子，我用的是spark 0.9.0 hadoop2.2.0 一.使用脚本提交 1.使用spark脚本提交到yarn，首先需要将spark所在的主机和hadoop集群之
Clickhouse Too many partitions for single INSERT block (more than xxx) 解决方法
程序员大佬超的博客
06-10 5208
Clickhouse批量导入数据时提示分区数太大，超过了100个分区 Too many partitions for single INSERT block (more than 100) The limit is controlled by 'max_partitions_per_insert_block' setting. Large number of partitions is a common misconception. 原因： clickhouse 要求每次写入的数据不能跨越特别多的 pa
MYSQL— perror 错误码详情
热门推荐
道行尚浅（老道）的博客
12-04 11万+
[root@localhost ~]# cat test_nothread.py import paramiko import threading import os def ssh2(ip,username,passwd,cmd): file_path='/root/perror.log' logfile=file(file_path,'a') try:
Error: Too many primary partitions.
07-27
这个错误通常是由于磁盘分区表中主分区数量超过限制引起的。磁盘分区表规定最多只能有4个主分区。如果你已经有4个主分区，并且想要创建更多分区，你可以考虑以下几种解决方法： 1. 转换为扩展分区：将其中一个主分区转换为扩展分区。扩展分区可以容纳多个逻辑分区，从而允许你创建更多的分区。请注意，在转换为扩展分区之前，你需要备份该分区中的数据，因为这个过程会删除该分区的所有数据。 2. 合并分区：如果你有多个主分区没有被充分利用，你可以考虑将它们合并为一个更大的分区。这样可以释放出可用空间来创建新的分区。 3. 使用其他磁盘：如果你的硬盘上没有足够的空间来创建更多的分区，你可以考虑使用其他磁盘来扩展你的存储空间。 无论你选择哪种方法，都建议在进行任何磁盘操作之前备份重要数据，以防止意外数据丢失。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值