mysql快速添加百万条记录的语句

最新推荐文章于 2024-07-09 18:46:58 发布
转载 最新推荐文章于 2024-07-09 18:46:58 发布 · 357 阅读 · 0

本文介绍了一个具体的SQL数据操作案例，展示了如何使用INSERT INTO与SELECT语句相结合来实现数据的复制与迁移。这种技术在数据库维护和数据同步场景中非常实用。
INSERT INTO ler_items( classid, title, address, zipcode )
SELECT classid, title, address, zipcode
FROM ler_items 
yangyanjava
关注
MySQL高频基本面试问题整理
张彦峰的博客
04-07 174万+
总结大厂MySQL高频基本面试问题整理，用于快速查缺补漏
mysql插入10万测试_迅速插入百万条mysql测试数据_MySQL
weixin_36326528的博客
02-08 161
bitsCN.com最近想到创建一个大量数据的测试环境，于是找了一下怎么插入100W条数据，我用的是20个字段。对比一下，首先是用 mysql 的存储过程弄的:mysql>delimiter $mysql>SET AUTOCOMMIT = 0$$mysql> create procedure test() begindeclare i decimal (10) default...
MySQL高级技巧：批量插入百万级数据量
master_chenchen的博客
06-10 2449
正确的操作方法不仅能大幅提高数据插入效率，还能有效保障数据的安全性和完整性。批量插入是数据库操作中的常见需求，掌握高效安全的批量插入技巧对于数据库管理员和开发者来说至关重要。即每次只插入一定数量的记录，然后提交事务，接着进行下一批的插入。批量插入是指在一次数据库操作中，插入多行数据的过程。相对于单条插入，批量插入可以减少数据库事务的次数，提高数据处理的效率。在执行批量插入操作时，应密切监控系统的CPU、内存以及磁盘IO等资源使用情况，确保操作不会引起系统过载。对于需要插入百万级别数据量的情况，推荐使用。
MySQL插入百万条测试数据
蘑菇蘑菇不会开花的专栏
12-08 1094
BEGIN DECLARE var INT; set var = 114134; WHILE var <1000000 DO INSERT into events_all_time VALUES(var,'text',var); set var = var+1; END WHILE; END 但是速度很慢，需要好几个小时
3分钟如何向MySQL数据库中插入100万条数据
12-14
一、编写测试案例向MySQL数据库中插入百万条数据。测试数据表建表脚本如下：use db_xk; drop table if exists tb_test2; create table tb_test2 ( id int primary key auto_increment， subject varchar(50) not null， description varchar(200) not null， teacher_id int(10) zerofill not null， student_id int(10) zerofill default null， state b
三分钟搞定向MySQL插入百万级数据
工作、学习、生活分享
01-30 2727
三分钟搞定向MySQL插入百万级数据
MySQL中记录（Documents）的基本操作——添加记录和查找记录
u011565038的博客
07-09 1328
在MySQL中，我们通常不称数据表中的记录为“文档”，而是称之为“行”或“记录”。记录表示为JSON对象。在内部，它们以高效的二进制格式存储，从而实现快速查找和更新。
MySQL 通过存储过程高效插入100w条数据
kerwin的博客
09-30 1万+
MySQL 通过存储过程高效插入100w条数据
从 MySQL 读取 100w 数据进行处理，应该怎么做？
qq_42003636的博客
03-09 1284
分库分表场景下，单个表的查询结果集虽然不大，但如果某个查询跨了多个库多个表，又要做结果集的合并、排序等动作，依然有可能撑爆内存；当查询百万级的数据的时候，还可以使用游标方式进行数据查询处理，不仅可以节省内存的消耗，而且还不需要一次性取出所有数据，可以进行逐条处理或逐条取出部分批量处理。如果没有流式查询，我们想要从数据库取 100w 条记录而又没有足够的内存时，就不得不分页查询，而分页查询效率取决于表设计，如果设计的不好，就无法执行高效的分页查询。流式查询：内存会保持稳定，不会随着记录的增长而增长。
大神教程，如何在Mysql数据库中快速插入一百万条数据详细解读！！！
jkx521的博客
07-18 4285
1、首先找到mysql文件夹中 2、修改配置，保存 3、打开cmd命令行，进入到mysql，创建两个表，一个是内存表，一个是新表，在内存表中添加完数据（内存表中添加数据速度快2分50秒左右），然后将数据迁移到新表（迁移速度也较快16秒左右）： 代码如下： CREATE TABLE `vote_record_memory` ( `id` INT (11) NOT NUL...
mysql如何插入一百万条数据
城南蝈蝈
07-17 904
原文链接：这里这里 0.背景 mysql8.0+navicat 1.过程 依次执行下面3条sql语句。 CREATE TABLE test ( id int(7) NOT NULL AUTO_INCREMENT COMMENT ‘自增id’, name varchar(50) NOT NULL COMMENT ‘名称’, pwd varchar(50) NOT NULL COMMENT ‘密码’, create_time datetime NULL DEFAULT CURRENT_TIMESTAMP, up
18、INSERT：插入数据（添加数据）
you can you up up up的博客
10-15 2万+
数据库与表创建成功以后，需要向数据库的表中插入数据。在 MySQL 中可以使用 INSERT 语句向数据库已有的表中插入一行或者多行元组数据。 基本语法 INSERT 语句有两种语法形式，分别是 INSERT…VALUES 语句和 INSERT…SET 语句。 1) INSERT…VALUES语句 INSERT VALUES 的语法格式为： INSERT INTO <表名> [ <列名1> [ , … <列名n>] ] VALUES (值1) [… , (值n) ];
MySQL批量插入百万条数据
月雨华的博客
02-27 2万+
这是个面试题，我的第一想法是foreach 一条条插入。凉凉！！！ 1.建库建表million_data  test 字段 id name time 2.由于单条循环插入肯定没有拼接一条sql语句快的，所以直接拼接一条，运行 Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 1099...
mysql 快速插入1000万条数据方法
足迹
05-08 2万+
不说上sql 上面有注释--创建MyISAM模式表方便批量跑数据 CREATE TABLE `logs1` ( `id` int(11) NOT NULL AUTO_INCREMENT, `logtype` varchar(255) DEFAULT NULL, `logurl` varchar(255) DEFAULT NULL, `logip` varchar(255) DEF...
MySQl 添加、更新与删除数据
热门推荐
StormWangxhu的博客
11-23 12万+
@author StormWangxhu @date 2017/11/23首先介绍一下查询语句：SELECT * FROM 表名 [where 条件表达式 ];添加数据SQL语句： INSERT INTO 语句1、为表中所有的字段添加数据向表中添加的数据称之为记录。两种方式：方式一：insert语句中指定所有字段名在insert 语句中列出表中的所有字段名，其值与其字段名、类型要一一对应！ 语法
MySQL数据表插入数据及增加语句
weixin_33970449的博客
09-14 7750
每个数据库都有增删改查功能，下面简单说说MySQL INSERT语句用法。 1，MySQL INSERT语句允许您将一行或多行插入到表中 INSERT INTO table(column1,column2...) VALUES (value1,value2,...); 首先，在INSERT INTO子句之后，在括号内指定表名和逗号分隔列的列表。 然后，将括号内的相应列的逗号分隔值放在VA...
mysql 创建存储过程向表中添加100条记录
最新发布
08-24
<think>我们有一个需求：在MySQL中创建一个存储过程，向表中插入100条记录。 根据引用[1]和引用[2]中的示例，我们可以创建一个存储过程，使用循环插入100条数据。 步骤： 1. 创建目标表（如果已有表则跳过） 2. 创建存储过程，使用循环插入100条记录 3. 调用存储过程 4. 删除存储过程（可选） 注意：在存储过程中，我们通常使用WHILE循环或REPEAT循环。这里我们使用WHILE循环。 假设我们有一个表`t_user`，结构如下（参考引用[3]）： ```sql CREATE TABLE `t_user` ( `id` int(11) NOT NULL AUTO_INCREMENT, `user_name` varchar(30) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; ``` 现在，我们创建一个存储过程，插入100条记录，其中`user_name`为随机字符串（我们可以利用之前定义的随机字符串函数，但这里为了简单，我们使用连接一个随机数的方式，因为存储过程中可能没有那个函数。如果之前已经创建了随机字符串函数，也可以使用）。 但是，用户没有要求随机字符串，只是插入100条记录。我们可以插入简单的数据，例如：user_name设置为'user'加上一个序号。 存储过程代码： ```sql DELIMITER $$ -- 如果存储过程已存在，则删除 DROP PROCEDURE IF EXISTS insert_100_users; CREATE PROCEDURE insert_100_users() BEGIN DECLARE i INT DEFAULT 1; WHILE i <= 100 DO INSERT INTO t_user (user_name) VALUES (CONCAT('user', i)); SET i = i + 1; END WHILE; END$$ DELIMITER ; ``` 然后调用存储过程： ```sql CALL insert_100_users(); ``` 如果希望使用随机字符串作为用户名，且之前已经创建了生成随机字符串的函数`generate_random_string`，则可以这样写： ```sql DELIMITER $$ DROP PROCEDURE IF EXISTS insert_100_random_users; CREATE PROCEDURE insert_100_random_users() BEGIN DECLARE i INT DEFAULT 1; WHILE i <= 100 DO INSERT INTO t_user (user_name) VALUES (generate_random_string(8)); -- 假设函数存在，生成长度为8的随机字符串 SET i = i + 1; END WHILE; END$$ DELIMITER ; CALL insert_100_random_users(); ``` 但注意：如果之前没有创建过`generate_random_string`函数，则不能使用。为了自包含，我们可以不使用随机字符串函数，而是用MySQL内置函数生成随机字符串的替代方法（如使用RAND()和字符串函数）来生成一个随机字符串，但这样会复杂一些。根据用户需求，只需要插入100条记录，我们可以选择简单的方式。 考虑到用户可能没有创建随机字符串函数，我们采用第一种方式：使用固定前缀加序号。 完整步骤： 1. 创建表（如果不存在） 2. 创建存储过程 3. 调用存储过程 示例： ```sql -- 创建表 CREATE TABLE IF NOT EXISTS `t_user` ( `id` int(11) NOT NULL AUTO_INCREMENT, `user_name` varchar(30) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; -- 修改分隔符 DELIMITER $$ -- 删除已存在的存储过程 DROP PROCEDURE IF EXISTS insert_100_users; -- 创建存储过程 CREATE PROCEDURE insert_100_users() BEGIN DECLARE i INT DEFAULT 1; WHILE i <= 100 DO INSERT INTO t_user (user_name) VALUES (CONCAT('user', i)); SET i = i + 1; END WHILE; END$$ -- 恢复分隔符 DELIMITER ; -- 调用存储过程 CALL insert_100_users(); ``` 注意：在存储过程中，我们使用了`DELIMITER $$`来改变语句结束符，这样在定义存储过程时，可以将整个存储过程作为一个完整的语句传递给服务器。 如果需要插入更复杂的数据，可以参考引用[1]中的例子，使用RAND()函数生成随机数。 另外，如果插入过程中出现主键冲突，因为id是自增的，所以不会冲突。 执行完毕后，我们可以查询表： ```sql SELECT * FROM t_user LIMIT 10; ``` 将显示前10条记录。 最后，如果不再需要存储过程，可以删除： ```sql DROP PROCEDURE insert_100_users; ``` 但是，通常我们会保留存储过程以便再次使用。 根据引用[2]，在插入大量数据（如100万）时，需要考虑事务和性能，但100条数据量很小，无需特别处理。 因此，我们提供上述解决方案。</think>### MySQL 创建存储过程插入100条记录的完整指南 #### 步骤1：创建数据表 ```sql CREATE TABLE IF NOT EXISTS t_user ( id INT NOT NULL AUTO_INCREMENT, user_name VARCHAR(30) DEFAULT NULL, PRIMARY KEY (id) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; ``` #### 步骤2：创建存储过程 ```sql DELIMITER $$ DROP PROCEDURE IF EXISTS insert_100_users; CREATE PROCEDURE insert_100_users() BEGIN DECLARE i INT DEFAULT 1; -- 初始化计数器 WHILE i <= 100 DO -- 循环100次 -- 插入带序号的数据（user1, user2...） INSERT INTO t_user (user_name) VALUES (CONCAT('user', i)); SET i = i + 1; -- 计数器递增 END WHILE; END$$ DELIMITER ; ``` #### 步骤3：执行存储过程 ```sql CALL insert_100_users(); -- 执行插入操作 ``` #### 步骤4：验证结果 ```sql SELECT COUNT(*) AS total_records FROM t_user; -- 应返回100 SELECT * FROM t_user LIMIT 5; -- 查看示例数据 ``` #### 增强版：插入随机数据 ```sql DELIMITER $$ DROP PROCEDURE IF EXISTS insert_random_users; CREATE PROCEDURE insert_random_users() BEGIN DECLARE i INT DEFAULT 1; DECLARE charset VARCHAR(26) DEFAULT 'abcdefghijklmnopqrstuvwxyz'; WHILE i <= 100 DO INSERT INTO t_user (user_name) VALUES ( CONCAT( SUBSTRING(charset, FLOOR(1 + RAND() * 26), 1), -- 随机首字母 SUBSTRING(charset, FLOOR(1 + RAND() * 26), 4) -- 随机4位字符 ) ); SET i = i + 1; END WHILE; END$$ DELIMITER ; -- 执行：CALL insert_random_users(); ``` #### 存储过程关键元素解析 | 组件 | 功能说明 | 示例 | |------|----------|------| | `DELIMITER $$` | 修改语句结束符 | 避免与过程中的`;`冲突 | | `DECLARE` | 声明变量 | `DECLARE i INT DEFAULT 1;` | | `WHILE` | 循环控制 | `WHILE i <= 100 DO ... END WHILE;` | | `CONCAT()` | 字符串拼接 | `CONCAT('user', i)` | | `RAND()` | 生成随机数 | `FLOOR(1 + RAND() * 26)` | #### 性能优化建议 1. **批量提交**（10万+数据）： ```sql START TRANSACTION; CALL insert_100_users(); COMMIT; ``` 2. **禁用索引**（超大数据量）： ```sql ALTER TABLE t_user DISABLE KEYS; CALL insert_100_users(); ALTER TABLE t_user ENABLE KEYS; ``` 3. **使用内存表**： ```sql CREATE TABLE tmp_user (...) ENGINE=MEMORY; ``` #### 常见问题解决 **1. 权限不足错误：** ```sql GRANT CREATE ROUTINE ON *.* TO 'user'@'localhost'; ``` **2. 循环不执行：** 检查计数器初始值和条件判断，确保满足`i <= 100` **3. 数据重复问题：** ```sql INSERT IGNORE INTO t_user ... -- 跳过重复记录 ``` **4. 查看存储过程：** ```sql SHOW CREATE PROCEDURE insert_100_users; -- 查看定义 SHOW PROCEDURE STATUS; -- 列出所有存储过程 ``` #### 应用场景示例 ```sql -- 创建测试数据 CALL insert_100_users(); -- 批量生成API密钥 UPDATE services SET api_key = CONCAT('key_', FLOOR(RAND()*1000000)) WHERE api_key IS NULL; -- 生成优惠码 INSERT INTO promo_codes(code) SELECT CONCAT('PROMO', FLOOR(1000 + RAND()*9000)) FROM information_schema.tables LIMIT 100; ``` ### 相关问题 1. 如何优化MySQL存储过程处理百万级数据插入？[^2] 2. 存储过程与应用程序插入数据的性能对比有何差异？ 3. 如何在存储过程中实现事务回滚机制？ 4. MySQL 8.0中存储过程有哪些新特性？ 5. 如何避免存储过程中的主键冲突问题？ 6. 存储过程与触发器的适用场景有何区别？ 7. 如何导出和迁移MySQL存储过程到其他数据库？ > 参考实现：MySQL存储过程语法[^1]，循环控制结构[^2]，字符串处理函数[^3]
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值