mysql临时表

最新推荐文章于 2025-06-22 22:17:19 发布

patient&training

最新推荐文章于 2025-06-22 22:17:19 发布

阅读量3.2k

点赞数 1

分类专栏： mysql

mysql 专栏收录该内容

7 篇文章

订阅专栏

首先，临时表只在当前连接可见，当关闭连接时，Mysql会自动删除表并释放所有空间。因此在不同的连接中可以创建同名的临时表，并且操作属于本连接的临时表。

创建临时表的语法与创建表语法类似，不同之处是增加关键字TEMPORARY，如：

CREATE TEMPORARY TABLE 表名 (…. )

临时表使用有一些限制条件：

　　* 临时表在 memory、myisam、merge或者innodb上使用，并且不支持mysql cluster簇)；

show tables语句不会列出临时表，在information_schema中也不存在临时表信息；show create table可以查看临时表；

　　* 不能使用rename来重命名临时表。但是可以alter table rename代替：

　mysql>ALTER TABLE orig_name RENAME new_name;

　　* 可以复制临时表得到一个新的临时表，如：

mysql>create temporary table new_table select * from old_table;

　　* 但在同一个query语句中，相同的临时表只能出现一次。如：

可以使用：mysql> select * from temp_tb;

但不能使用：mysql> select * from temp_tb, temp_tb as t;

错误信息： ERROR 1137 (HY000): Can't reopen table: 'temp_tb'

同样相同临时表不能在存储函数中出现多次，如果在一个存储函数里，用不同的别名查找一个临时表多次，或者在这个存储函数里用不同的语句查找，都会出现这个错误。

　　* 但不同的临时表可以出现在同一个query语句中，如临时表temp_tb1, temp_tb2：

Mysql> select * from temp_tb1, temp_tb2;

临时表可以手动删除：

DROP TEMPORARY TABLE IF EXISTS temp_tb;

临时表主要用于对大数据量的表上作一个子集，提高查询效率。

在创建临时表时声明类型为HEAP，则Mysql会在内存中创建该临时表，即内存表：如：

CREATE TEMPORARY TABLE 表名 (。。。。) TYPE = HEAP

因为HEAP表存储在内存中，你对它运行的查询可能比磁盘上的临时表快些。如：

mysql> create temporary table temp_tb type='heap' select * from temptb;

Query OK, 0 rows affected, 1 warning (0.01 sec)

Records: 0 Duplicates: 0 Warnings: 0

mysql> show create table temp_tb \G;

*************************** 1. row ***************************

Table: temp_tb

Create Table: CREATE TEMPORARY TABLE `temp_tb` (

`id` int(10) unsigned NOT NULL DEFAULT '0',

`Name` char(20) NOT NULL,

`Age` tinyint(4) NOT NULL

) ENGINE=MEMORY DEFAULT CHARSET=gbk

1 row in set (0.00 sec)

ERROR:

No query specified

可以看出来临时表和内存表的ENGINE 不同，临时表默认的是Mysql指定的默认Engine,而内存表是MEMORY。

官方手册：
As indicated by the name, MEMORY tables are stored in memory. They use hash indexes by default, which makes them very fast, and very useful for creating temporary tables. However, when the server shuts down, all rows stored in MEMORY tables are lost. The tables themselves continue to exist because their definitions are stored in .frm files on disk, but they are empty when the server restarts.

内存表的建立还有一些限制条件：
      MEMORY tables cannot contain        BLOB or TEXT columns. HEAP不支持BLOB/TEXT列。
      The server needs sufficient memory to maintain all   MEMORY tables that are in use at the same time. 在同一时间需要足够的内存.
      To free memory used by a MEMORY table when   you no longer require its contents, you should execute DELETE or TRUNCATE TABLE, or remove the table altogether using DROP        TABLE.为了释放内存，你应该执行DELETE FROM heap_table或DROP TABLE heap_table。

临时表和内存表

临时表主要是为了放一些中间大结果集的一些子集，内存表可以放一些经常频繁使用的数据。

* 临时表：表建在内存里，数据在内存里
* 内存表：表建在磁盘里，数据在内存里

        临时表和内存表所使用内存大小可以通过My.cnf中的max_heap_table_size、tmp_table_size指定：
              [mysqld]
              max_heap_table_size=1024M   #内存表容量
              tmp_table_size=1024M              #临时表容量

当数据超过临时表的最大值设定时，自动转为磁盘表，此时因需要进行IO操作，性能会大大下降，而内存表不会，内存表满后，则会提示数据满错误。

show tables 命令不会显示临时表。

以下是对内存表和临时表之间区别的总结：

内存表：

        1．缺省存储引擎为MEMORY
        2．可以通过参数max_heap_table_size来设定内存表大小
        3．到达max_heap_table_size设定的内存上限后将报错
        4．表定义保存在磁盘上，数据和索引保存在内存中
        5．不能包含TEXT、BLOB等字段
   临时表：

        1．缺省存储引擎为MySQL服务器默认引擎，引擎类型只能是：memory（heap）、myisam、merge、innodb（memory临时表由于表的增大可能会转变为myisam临时表）
        2．可以通过参数 tmp_table_size 来设定临时表大小。
        3．到达tmp_table_size设定的内存上限后将在磁盘上创建临时文件
        4．表定义和数据都保存在内存中
        5．可以包含TEXT, BLOB等字段

临时表一般比较少用，通常是在应用程序中动态创建或者由MySQL内部根据SQL执行计划需要自己创建。

内存表则大多作为Cache来使用，特别在没有第三方cache使用时。如今随着memcache、NoSQL的流行，越来越少选择使用内存表。

关于使用临时表可能会出现的问题

【问题现象】

线上mysql 数据库爆出一个慢查询，DBA观察发现，查询时服务器IO飙升，IO占用率达到100%，执行时间长达7s左右。

SQL语句如下：

SELECT DISTINCTg.*,cp.name AS cp_name, c.name AS category_name, t.name AS type_name FROMgm_gameg LEFT JOINgm_cpcp ON cp.id = g.cp_id AND cp.deleted = 0 LEFT JOINgm_categoryc ON c.id = g.category_id AND c.deleted = 0 LEFT JOINgm_typet ON t.id = g.type_id AND t.deleted = 0 WHERE g.deleted = 0 ORDER BY g.modify_time DESC LIMIT 20 ;

【问题分析】

使用explain查看执行计划，结果如下：

加载中...

这条sql语句的问题其实还是比较明显的：

查询了大量数据(包括数据条数、以及g.* )，然后使用临时表order by，但最终又只返回了20条数据。

DBA观察到的IO高，是因为sql语句生成了一个巨大的临时表，内存放不下，于是全部拷贝到磁盘，导致IO飙升。

【优化方案】

优化的总体思路是拆分sql，将排序操作和查询所有信息的操作分开。

第一条语句：查询符合条件的数据，只需要查询g.id即可

SELECT DISTINCTg.idFROMgm_gameg LEFT JOINgm_cpcp ON cp.id = g.cp_id AND cp.deleted = 0 LEFT JOINgm_categoryc ON c.id = g.category_id AND c.deleted = 0 LEFT JOINgm_typet ON t.id = g.type_id AND t.deleted = 0 WHERE g.deleted = 0 ORDER BY g.modify_time DESC LIMIT 20 ;

第二条语句：查询符合条件的详细数据，将第一条sql的结果使用in操作拼接到第二条的sql

SELECT DISTINCTg.*,cp.name AS cp_name,c.name AS category_name,t.name AS type_name FROMgm_gameg LEFT JOINgm_cpcp ON cp.id = g.cp_id AND cp.deleted = 0 LEFT JOINgm_categoryc ON c.id = g.category_id AND c.deleted = 0 LEFT JOINgm_typet ON t.id = g.type_id AND t.deleted = 0 WHERE g.deleted = 0 and g.id in(…………………) ORDER BY g.modify_time DESC ;

【实测效果】

在SATA机器上测试，优化前大约需要50s，优化后第一条0.3s，第二条0.1s，优化后执行速度是原来的100倍以上，IO从100%降到不到1%

在SSD机器上测试，优化前大约需要7s，优化后第一条0.3s，第二条0.1s，优化后执行速度是原来的10倍以上，IO从100%降到不到1%

可以看出，优化前磁盘io是性能瓶颈，SSD的速度要比SATA明显要快，优化后磁盘不再是瓶颈，SSD和SATA性能没有差别。

【理论分析】

MySQL在执行SQL查询时可能会用到临时表，一般情况下，用到临时表就意味着性能较低。

临时表存储

MySQL临时表分为“内存临时表”和“磁盘临时表”，其中内存临时表使用MySQL的MEMORY存储引擎，磁盘临时表使用MySQL的MyISAM存储引擎；

一般情况下，MySQL会先创建内存临时表，但内存临时表超过配置指定的值后，MySQL会将内存临时表导出到磁盘临时表；

Linux平台上缺省是/tmp目录，/tmp目录小的系统要注意啦。

使用临时表的场景

1）ORDER BY子句和GROUP BY子句不同，例如：ORDERY BY price GROUP BY name；

2）在JOIN查询中，ORDER BY或者GROUP BY使用了不是第一个表的列例如：SELECT * from TableA, TableB ORDER BY TableA.price GROUP by TableB.name

3）ORDER BY中使用了DISTINCT关键字 ORDERY BY DISTINCT(price)

4）SELECT语句中指定了SQL_SMALL_RESULT关键字 SQL_SMALL_RESULT的意思就是告诉MySQL，结果会很小，请直接使用内存临时表，不需要使用索引排序 SQL_SMALL_RESULT必须和GROUP BY、DISTINCT或DISTINCTROW一起使用一般情况下，我们没有必要使用这个选项，让MySQL服务器选择即可。

直接使用磁盘临时表的场景

1）表包含TEXT或者BLOB列；

2）GROUP BY 或者 DISTINCT 子句中包含长度大于512字节的列；

3）使用UNION或者UNION ALL时，SELECT子句中包含大于512字节的列；

临时表相关配置

tmp_table_size：指定系统创建的内存临时表最大大小；

max_heap_table_size: 指定用户创建的内存表的最大大小；

注意：最终的系统创建的内存临时表大小是取上述两个配置值的最小值。

表的设计原则

使用临时表一般都意味着性能比较低，特别是使用磁盘临时表，性能更慢，因此我们在实际应用中应该尽量避免临时表的使用。常见的避免临时表的方法有：

1）创建索引：在ORDER BY或者GROUP BY的列上创建索引；

2）分拆很长的列：一般情况下，TEXT、BLOB，大于512字节的字符串，基本上都是为了显示信息，而不会用于查询条件，因此表设计的时候，应该将这些列独立到另外一张表。