mysql大数据分表后查询

最新推荐文章于 2025-05-20 15:40:41 发布

转载最新推荐文章于 2025-05-20 15:40:41 发布 · 2.1k 阅读

软件架构专栏收录该内容

5 篇文章

订阅专栏

本文介绍了一种针对大规模数据的优化方案——分表技术。通过将1亿条记录分散到100张子表中，并利用CRC32哈希算法确定每条记录的归属表，实现了高效的数据存储和检索。此外，还介绍了如何使用MySQL的Merge存储引擎来统一管理这些子表。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

原文地址：https://www.cnblogs.com/xlz307/p/5481770.html

当数据量猛增的时候，大家都会选择库表散列等等方式去优化数据读写速度，举例说明：

1亿条数据，分100张表

1.首先创建100张表

$i=0;
while($i<=99){
echo "$newNumber \r\n";
$sql="CREATE TABLE `code_".$i."` (
`full_code` char(10) NOT NULL,
`create_time` int(10) unsigned NOT NULL,
PRIMARY KEY (`full_code`),
) ENGINE=MyISAM DEFAULT CHARSET=utf8";
mysql_query($sql);
$i++;

2.分表规则：

full_code作为主键，对full_code做hash

$table_name=get_hash_table('code',$full_code);

function get_hash_table($table,$code,$s=100){
$hash = sprintf("%u", crc32($code));
echo $hash;
$hash1 = intval(fmod($hash, $s));
return $table."_".$hash1;
}

这样插入数据前通过get_hash_table获取数据存放的表名。

3.使用merge存储引擎来实现一张完整的code表

CREATE TABLE IF NOT EXISTS `code` (
`full_code` char(10) NOT NULL,
`create_time` int(10) unsigned NOT NULL,
INDEX(full_code)
) TYPE=MERGE UNION=(code_0,code_1,code_2.......) INSERT_METHOD=LAST ;

通过select * from code就可以得到所有的full_code数据了。