mysql创建临时表,将查询结果插入已有表中

本文详细介绍了MySQL中如何创建和使用临时表,包括内存表和磁盘表。临时表在断开连接后自动删除,适用于存储中间数据。创建临时表的方法包括直接指定字段或导入查询结果。同时,文章探讨了将查询结果插入已有表的操作,以及内存表和临时表的区别。临时表在内存中存储速度快,但受制于max_heap_table_size和tmp_table_size参数。当数据超出内存限制时,会转为磁盘表,影响性能。临时表在特定查询条件下会被自动创建,如GROUP BY和ORDER BY子句不同,或者使用了非第一表的列。合理设计表和使用索引可以避免或减少临时表的使用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 今天遇到一个很棘手的问题,想临时存起来一部分数据,然后再读取。我记得学数据库理论课老师说可以创建临时表,不知道mysql有没有这样的功能呢?临时表在内存之中,读取速度应该比视图快一些。然后还需要将查询的结果存储到临时表中。下面是创建临时表以及插入数据的例子,以供大家参考。

A、临时表再断开于mysql的连接后系统会自动删除临时表中的数据,但是这只限于用下面语句建立的表:
1)定义字段
  CREATE TEMPORARY TABLE tmp_table (
      name VARCHAR(10) NOT NULL, 
      time date  NOT NULL
  )
更高级点就是:
create temporary  TABLE `temtable` (
  `jws` varchar(100) character set utf8 collate utf8_bin NOT NULL,
  `tzlb` varchar(100) character set utf8 collate utf8_bin NOT NULL,
  `uptime` date NOT NULL
) ENGINE=InnoDB DEFAULT CHARSET=latin1″
连编码方式都规定了。。呵呵,以防乱码啊。


2)直接将查询结果导入临时表
  CREATE TEMPORARY TABLE tmp_table SELECT * FROM table_name

B、另外mysql也允许你在内存中直接创建临时表,因为是在内存中所有速度会很快,语法如下:
  CREATE TEMPORARY TABLE tmp_table (
     name VARCHAR(10) NOT NULL,
     value INTEGER NOT NULL
  ) TYPE = HEAP

那如何将查询的结果存入已有的表呢?

1、可以使用A中第二个方法

2、使用insert into temtable (select a,b,c,d from tablea)”;


   首先,临时表只在当前连接可见,当关闭连接时,Mysql会自动删除表并释放所有空间。因此在不同的连接中可以创建同名的临时表,并且操作属于本连接的临时表。

        创建临时表的语法与创建表语法类似,不同之处是增加关键字TEMPORARY,如:

               CREATE TEMPORARY TABLE 表名 (…. )

 

       临时表使用有一些限制条件

  *  临时表在 memory、myisam、merge或者innodb上使用,并且不支持mysql cluster簇);

               show tables语句不会列出临时表,在information_schema中也不存在临时表信息;show create table可以查看临时表;

  *  不能使用rename来重命名临时表。但是可以alter table rename代替:

             mysql>ALTER TABLE orig_name RENAME new_name;

  *  可以复制临时表得到一个新的临时表,如:

                mysql>create temporary table new_table select * from old_table;

  *  但在同一个query语句中,相同的临时表只能出现一次。如:

               可以使用:mysql> select * from temp_tb;

               但不能使用:mysql> select * from temp_tb, temp_tb as t;

               错误信息:   ERROR 1137 (HY000): Can't reopen table: 'temp_tb'

        同样相同临时表不能在存储函数中出现多次,如果在一个存储函数里,用不同的别名查找一个临时表多次,或者在这个存储函数里用不同的语句查找,都会出现这个错误。

  *  但不同的临时表可以出现在同一个query语句中,如临时表temp_tb1, temp_tb2:

                 Mysql> select * from temp_tb1, temp_tb2;

        临时表可以手动删除:

                 DROP TEMPORARY TABLE IF EXISTS temp_tb;

 

       临时表主要用于对大数据量的表上作一个子集,提高查询效率

 

       在创建临时表时声明类型为HEAP,则Mysql会在内存中创建该临时表,即内存表:如:

                CREATE TEMPORARY TABLE 表名 (。。。。) TYPE = HEAP

       因为HEAP表存储在内存中,你对它运行的查询可能比磁盘上的临时表快些。如:

mysql> create temporary table temp_tb type='heap' select * from temptb;

Query OK, 0 rows affected, 1 warning (0.01 sec)

Records: 0  Duplicates: 0  Warnings: 0

 

mysql> show create table temp_tb \G;

*************************** 1. row ***************************

       Table: temp_tb

Create Table: CREATE TEMPORARY TABLE `temp_tb` (

  `id` int(10) unsigned NOT NULL DEFAULT '0',

  `Name` char(20) NOT NULL,

  `Age` tinyint(4) NOT NULL

) ENGINE=MEMORY DEFAULT CHARSET=gbk

1 row in set (0.00 sec)

 

ERROR:

No query specified

         可以看出来临时表和内存表的ENGINE 不同,临时表默认的是Mysql指定的默认Engine,而内存表是MEMORY

官方手册:
As indicated by the name, MEMORY tables are stored in memory. They use hash indexes by default, which makes them very fast, and very useful for creating temporary tables. However, when the server shuts down, all rows stored in MEMORY tables are lost. The tables themselves continue to exist because their definitions are stored in .frm files on disk, but they are empty when the server restarts.

 

内存表的建立还有一些限制条件
      MEMORY tables cannot contain        BLOB or TEXT columns. HEAP不支持BLOB/TEXT列。    
      The server needs sufficient memory to maintain all   MEMORY tables that are in use at the same time. 在同一时间需要足够的内存.
      To free memory used by a MEMORY table when   you no longer require its contents, you should execute DELETE or TRUNCATE TABLE, or remove the table altogether using DROP        TABLE.为了释放内存,你应该执行DELETE FROM heap_table或DROP TABLE heap_table。

 

临时表和内存表

        临时表主要是为了放一些中间大结果集的一些子集,内存表可以放一些经常频繁使用的数据。

        *  临时表:表建在内存里,数据在内存里
        *  内存表:表建在磁盘里,数据在内存里

        临时表和内存表所使用内存大小可以通过My.cnf中的max_heap_table_size、tmp_table_size指定:
              [mysqld]
              max_heap_table_size=1024M   #内存表容量
              tmp_table_size=1024M              #临时表容量

        当数据超过临时表的最大值设定时,自动转为磁盘表,此时因需要进行IO操作,性能会大大下降,而内存表不会,内存表满后,则会提示数据满错误。

       show tables 命令不会显示临时表。

        以下是对内存表和临时表之间区别的总结:

   内存表:

        1.缺省存储引擎为MEMORY
        2.可以通过参数max_heap_table_size来设定内存表大小
        3.到达max_heap_table_size设定的内存上限后将报错
        4.表定义保存在磁盘上,数据和索引保存在内存中
        5.不能包含TEXT、BLOB等字段
   临时表:

        1.缺省存储引擎为MySQL服务器默认引擎,引擎类型只能是:memory(heap)、myisam、merge、innodb(memory临时表由于表的增大可能会转变为myisam临时表)
        2.可以通过参数 tmp_table_size 来设定临时表大小。
        3.到达tmp_table_size设定的内存上限后将在磁盘上创建临时文件
        4.表定义和数据都保存在内存中
        5.可以包含TEXT, BLOB等字段

        临时表一般比较少用,通常是在应用程序中动态创建或者由MySQL内部根据SQL执行计划需要自己创建。

        内存表则大多作为Cache来使用,特别在没有第三方cache使用时。如今随着memcache、NoSQL的流行,越来越少选择使用内存表。

 

MySQL服务器使用内部临时表

        在某些情况下,mysql服务器会自动创建内部临时表。查看查询语句的执行计划,如果extra列显示“using temporary”即使用了内部临时表。内部临时表的创建条件:

        *  group by 和 order by中的列不相同

        *  order by的列不是引用from 表列表中 的第一表

        *  group by的列不是引用from 表列表中 的第一表

        *  使用了sql_small_result选项

        *  含有distinct 的 order by语句

        初始创建内部myisam临时表的条件:

        *  表中存在text、blob列

        *  在group by中的 列 有超过512字节

        *  在distinct查询中的 列 有超过512字节

        *  在union、union all联合查询中,select 列 列表中的 列 有超过512字节的


MySQL如何使用临时表??
【临时表存储】
MySQL临时表分为“内存临时表”和“磁盘临时表”,其中内存临时表使用MySQL的MEMORY存储引擎,磁盘临时表使用MySQL的MyISAM存储引擎;
一般情况下,MySQL会先创建内存临时表,但内存临时表超过配置指定的值后,MySQL会将内存临时表导出到磁盘临时表。

【使用临时表的场景】
1)ORDER BY子句和GROUP BY子句不同,
例如:ORDERY BY price GROUP BY name;

2)在JOIN查询中,ORDER BY或者GROUP BY使用了不是第一个表的列
例如:SELECT * from TableA, TableB ORDER BY TableA.price GROUP by TableB.name

3)ORDER BY中使用了DISTINCT关键字
ORDERY BY DISTINCT(price)

4)SELECT语句中指定了SQL_SMALL_RESULT关键字
SQL_SMALL_RESULT的意思就是告诉MySQL,结果会很小,请直接使用内存临时表,不需要使用索引排序
SQL_SMALL_RESULT必须和GROUP BY、DISTINCT或DISTINCTROW一起使用
一般情况下,我们没有必要使用这个选项,让MySQL服务器选择即可。

【直接使用磁盘临时表的场景】
1)表包含TEXT或者BLOB列;
2)GROUP BY 或者 DISTINCT 子句中包含长度大于512字节的列;
3)使用UNION或者UNION ALL时,SELECT子句中包含大于512字节的列;

【临时表相关配置】
tmp_table_size:指定系统创建的内存临时表最大大小;
http://dev.mysql.com/doc/refman/5.1/en/server-system-variables.html#sysvar_tmp_table_size

max_heap_table_size: 指定用户创建的内存表的最大大小;
http://dev.mysql.com/doc/refman/5.1/en/server-system-variables.html#sysvar_max_heap_table_size

注意:最终的系统创建的内存临时表大小是取上述两个配置值的最小值。

【表的设计原则】
使用临时表一般都意味着性能比较低,特别是使用磁盘临时表,性能更慢,因此我们在实际应用中应该尽量避免临时表的使用。

如果实在无法避免,也应该尽量避免使用磁盘临时表。

常见的方法有:

1)创建索引:在ORDER BY或者GROUP BY的列上创建索引,这样可以避免使用临时表;
2)分拆很长的列,可以避免使用磁盘临时表:一般情况下,TEXT、BLOB,大于512字节的字符串,基本上都是为了显示信息,而不会用于查询条件,因此表设计的时候,应该将这些列独立到另外一张表。

【如何判断使用了临时表?】
使用explain查看执行计划,Extra列看到Using temporary就意味着使用了临时表。

MySQL官方手册:
http://dev.mysql.com/doc/refman/5.1/en/internal-temporary-tables.html


转载于:https://my.oschina.net/airship/blog/630409

<think>嗯,用户现在想将一张查询结果插入到另一张中,使用MySQL实现。他们提到了“mysqlinsert intoanother tablefrom selectquery results”,所以需要指导他们如何正确使用INSERTINTO ...SELECT语法。首先,我需要确认用户是否了解基本的INSERT INTOSELECT结构。根据之前的对话,用户可能已经创建过包含自增ID的,现在需要处理数据插入。可能他们的需求是将查询结果从一个迁移到另一个,或者进行数据聚合,比如统计每个城市的业务数量,如引用[3]提到的,用户之前尝试用SELECT获取城市列和计数,现在需要插入到另一个中。 接下来,我需要考虑语法是否正确。基本语法是INSERT INTO目标(字段列) SELECT查询字段FROM源。需要提醒用户字段顺序和类型匹配,否则会出现错误。例如,如果目标有自增ID,插入时可能需要排除该字段,或者显式指定其他字段。然后,引用[1]提到用户之前遇到mysql_query的问题,并且建议使用PDO代替已弃用的mysql_函数。这里虽然用户现在的问题是关于插入数据,但可能需要提醒他们使用更现代的数据库扩展,比如MySQLi或PDO,以避免潜在的问题。 另外,引用[2]提到FLUSHTABLE导致的锁问题,虽然当前问题不直接相关,但在处理大量数据插入时,可能会遇到性能或锁的问题。需要建议用户注意事务处理或分批插入,特别是在生产环境中,避免长时间阻塞其他查询。用户可能需要示例,所以给出一个基本的示例,比如将user_info中的username插入到user_backup。同时,如果他们需要更复杂的操作,比如聚合数据,如引用[3]中的统计城市数量,需要展示如何使用INSERTINTO ...SELECT结合GROUP BY。还要注意高级用法,比如插入时去重,使用DISTINCT或GROUPBY,或者在插入时进行计算。此外,性能优化方面,比如使用事务或批量插入,避免全扫描导致缓冲区问题,如引用[4]提到的全扫描可能影响缓冲池,需要提醒用户注意查询效率。最后,生成相关问题,比如如何避免重复插入、性能优化、处理自增主键冲突、使用临时表等,这些都是用户可能遇到的后续问题。</think>### 使用MySQL查询结果插入另一张的实现方法 #### 一、基础语法格式 ```sql INSERT INTO 目标 (字段1, 字段2, ...) SELECT 字段A, 字段B, ... FROM 源 [WHERE/JOIN/GROUP BY等条件]; ``` #### 二、典型应用场景 1. **数据迁移**:将旧数据迁移到新 2. **数据聚合**:按条件统计后写入统计(如引用[3]的业务统计需求) 3. **数据备份**:创建实时数据备份 #### 三、具体实现示例 **场景1:简单字段复制** ```sql -- 将user_info数据备份到user_backup INSERT INTO user_backup (username, create_time) SELECT username, create_time FROM user_info WHERE create_time > '2023-01-01'; ``` **场景2:带聚合的插入(引用[3]的统计需求)** ```sql -- 创建城市统计 CREATE TABLE city_stats ( city_name VARCHAR(100) PRIMARY KEY, business_count INT ); -- 插入聚合数据 INSERT INTO city_stats (city_name, business_count) SELECT city, COUNT(*) FROM businesses GROUP BY city; ``` #### 四、高级用法 1. **插入时去重** ```sql INSERT INTO unique_users (user_email) SELECT DISTINCT email FROM temp_users; ``` 2. **跨数据库操作** ```sql INSERT INTO db1.audit_log (log_content) SELECT CONCAT('操作:', action_type) FROM db2.transaction_log; ``` 3. **带计算的插入** ```sql INSERT INTO sales_report (product_id, total_sales) SELECT product_id, SUM(quantity * unit_price) FROM orders GROUP BY product_id; ``` #### 五、性能优化建议 1. **分批插入**:使用LIMIT分页避免大事务 ```sql INSERT INTO target_table SELECT * FROM source_table LIMIT 10000 OFFSET 0; ``` 2. **禁用索引**:大数据插入前先禁用目标索引 ```sql ALTER TABLE target_table DISABLE KEYS; -- 执行插入操作 ALTER TABLE target_table ENABLE KEYS; ``` 3. **事务控制**(注意引用[2]的锁问题): ```sql START TRANSACTION; INSERT INTO ... SELECT ...; COMMIT; ``` #### 六、常见错误处理 1. **字段不匹配错误**:确保SELECT字段顺序、类型与INSERT字段一致 2. **主键冲突**:使用`INSERT IGNORE`跳过重复记录 ```sql INSERT IGNORE INTO unique_users (user_id) SELECT id FROM temp_users; ``` 3. **自增主键处理**:使用`NULL`值保持自增特性[^1] ```sql INSERT INTO new_users (id, name) SELECT NULL, username FROM old_users; ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值