进阶熟悉Mysql,使用存储过程、函数生成指定行数的测试数据

本文介绍了一种使用SQL创建测试表的方法,并通过定义随机数据生成函数来填充表内容。此外,还提供了一个存储过程用于批量生成指定数量的记录,便于进行大规模数据测试及SQL优化实验。

创建一个测试表

CREATE TABLE `test_num` (
  `id` bigint NOT NULL AUTO_INCREMENT,
  `age` int DEFAULT NULL,
  `rand_num` int DEFAULT NULL,
  `big_num` bigint DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `rand_age` (`rand_num`,`age`)
) ENGINE=InnoDB AUTO_INCREMENT=56393373 DEFAULT CHARSET=utf8mb3;

创建一个随机生成内容的函数

生成小数字

CREATE FUNCTION `rand_min_num`() RETURNS int
begin        
  declare min_num INT(3);
	SET min_num = floor(rand()*100);
  return min_num;    
end

生成大数字

CREATE FUNCTION `rand_max_num`() RETURNS bigint
begin        
  declare max_num BIGINT(10);
	SET max_num = floor(rand()*100000);
  return max_num;    
end

生成随机字符

CREATE FUNCTION `rand_string`(n int) RETURNS varchar(255) CHARSET utf8mb3
begin        
  declare chars_str varchar(100) 
  default "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789";
  declare return_str varchar(255) default "";        
  declare i int default 0;
  while i < n do        
      set return_str=concat(return_str,substring(chars_str,floor(1+rand()*62),1));
      set i= i+1;        
  end while;        
  return return_str;    
end

创建存储过程并调用生成指定行数的数据

循环n(n为入参)次,生成不同的数据,并插入数据库

CREATE PROCEDURE `insert_data_testnum`( IN n INT )
BEGIN
	DECLARE i INT DEFAULT 1;
	DECLARE max_num BIGINT(10);
	DECLARE rand_num BIGINT(10);
	DECLARE min_num INT(5);
	WHILE(i<= n ) DO
		SET min_num = rand_min_num();
		SET rand_num = rand_max_num();
		SET max_num = rand_max_num();
		--循环执行以下插入语句
		INSERT INTO test_num ( age, rand_num,big_num ) VALUES(min_num,rand_num,max_num);
	  SET i = i + 1;
END WHILE;
END

由于我们的测试表字段都是数字类型,所以我们使用的随机数据都是随机数字。

调用存储过程

-- 插入一条测试数据
CALL insert_data_testnum(1)

在这里插入图片描述
再次查看数据库,则已经插入成功。可以尝试插入千万级数据,测试sql优化等等…

<think>我们有一个任务:每天定时执行一个MySQL存储过程,该存储过程会插入大量数据,并且每条数据需要包含当前时间点的字段。 步骤: 1. 创建存储过程:该存储过程将执行数据插入操作,并在插入的数据中包含当前时间(例如使用NOW()或CURRENT_TIMESTAMP)。 2. 设置定时事件:使用MySQL的事件调度器(Event Scheduler)来每天自动执行这个存储过程。 注意: - 确保MySQL的事件调度器是开启的(默认是关闭的)。 - 存储过程中插入大量数据时,考虑性能优化(如批量插入、事务处理等)。 根据引用[1]中提到的,我们可以采用类似的方式,但这里不需要分表,而是直接插入到目标表,并且包含当前时间字段。 引用[2]提供了插入语句的进阶操作,特别是ON DUPLICATE KEY UPDATE,但我们的需求是插入,所以可能不需要更新。不过,如果数据可能重复,我们可以考虑使用IGNORE或ON DUPLICATE KEY UPDATE来避免重复插入导致失败。 引用[3]提到删除大量数据时会产生存储碎片,但我们的主要操作是插入,所以暂时不考虑删除。不过,如果后续需要删除旧数据,可以考虑优化表或使用OPTIMIZE TABLE来减少碎片。 具体步骤: 1. 开启事件调度器: 在MySQL中,首先需要确保事件调度器是开启的。可以通过以下命令: ```sql SET GLOBAL event_scheduler = ON; ``` 或者将其添加到配置文件(my.cnf或my.ini)中,设置event_scheduler=ON。 2. 创建存储过程: 假设我们有一个表`t_daily_data`,包含字段`id`(主键),`data`(其他数据),`create_time`(记录插入时间)。 存储过程示例: ```sql DELIMITER $$ CREATE PROCEDURE InsertDailyData() BEGIN -- 这里可以添加一些逻辑,例如先删除旧数据(如果需要) -- 但我们主要是插入,所以直接插入新数据 -- 插入大量数据,这里以插入10000条示例,实际根据需求调整 -- 注意:实际应用中,大量数据插入建议分批进行,避免大事务 INSERT INTO t_daily_data (data, create_time) SELECT -- 这里生成你的数据,例如从其他表查询或使用随机数据 -- 假设我们生成随机字符串作为数据 CONCAT('data_', FLOOR(RAND() * 1000000)), NOW() -- 当前时间 FROM -- 生成一个足够大的行数的表,这里用information_schema.columns来生成多行 information_schema.columns c1 CROSS JOIN information_schema.columns c2 LIMIT 10000; END$$ DELIMITER ; ``` 注意:上面的例子使用交叉连接生成大量行,实际数据生成逻辑根据需求调整。 3. 创建事件,每天执行一次: ```sql CREATE EVENT event_daily_insert ON SCHEDULE EVERY 1 DAY STARTS CURRENT_DATE + INTERVAL 1 DAY + INTERVAL '00:00' HOUR_MINUTE -- 从明天凌晨开始 DO CALL InsertDailyData(); ``` 4. 验证: 可以手动执行一次存储过程测试,并查看事件状态。 5. 性能优化: - 对于大量数据插入,可以调整存储过程使用多个INSERT语句分批插入(例如每次1000条),并适当使用事务。 - 考虑在插入前暂时关闭索引,插入后再重建索引(对于大数据量插入,这可以提高速度)。 6. 错误处理: 在存储过程中可以加入错误处理。 7. 权限: 确保创建存储过程和事件的用户有足够的权限。 8. 记录当前时间: 在插入时使用`NOW()`函数即可,这样每条记录插入时都会记录当前时间。 注意事项: - 事件调度器需要MySQL服务器运行。 - 如果存储过程执行时间很长,可能会影响事件的下一次执行(如果重叠),可以考虑设置事件间隔足够大。 如果数据量非常大,除了使用存储过程和事件,还可以考虑外部脚本(如Python脚本)配合操作系统的定时任务(如cron或Windows任务计划)来执行,这样更灵活且避免对数据库造成过大的负担。 但是,根据用户要求,使用MySQL存储过程和事件来实现。 相关问题: 1. 如何开启MySQL事件调度器? 2. 如何监控MySQL事件的执行情况? 3. 在大量数据插入时,如何优化插入速度? 4. 如何避免插入重复数据? 5. 如果插入过程中出错,如何记录错误信息? 根据用户需求,我们主要回答如何设置定时执行存储过程插入数据,包含当前时间字段。</think>### MySQL 每日定时执行存储过程插入大量数据(含当前时间字段) #### 解决方案步骤: 1. **创建包含时间字段的表结构** ```sql CREATE TABLE daily_data ( id INT AUTO_INCREMENT PRIMARY KEY, data_content VARCHAR(255) NOT NULL, created_at DATETIME DEFAULT CURRENT_TIMESTAMP -- 自动记录插入时间 ); ``` 2. **创建插入数据的存储过程** ```sql DELIMITER $$ CREATE PROCEDURE InsertDailyData() BEGIN -- 开启事务提升批量插入性能 START TRANSACTION; -- 批量插入10万条示例数据(根据实际需求调整) INSERT INTO daily_data (data_content) SELECT CONCAT('Data_', FLOOR(RAND() * 1000000)) FROM information_schema.columns c1 CROSS JOIN information_schema.columns c2 LIMIT 100000; COMMIT; -- 验证插入行数(可选) SELECT ROW_COUNT() AS 'Affected Rows'; END$$ DELIMITER ; ``` 3. **配置每日定时事件** ```sql -- 启用事件调度器 SET GLOBAL event_scheduler = ON; -- 创建每日凌晨1点执行的事件 CREATE EVENT DailyDataInsertEvent ON SCHEDULE EVERY 1 DAY STARTS CURRENT_DATE + INTERVAL 1 DAY + INTERVAL '01:00' HOUR_MINUTE DO CALL InsertDailyData(); ``` #### 关键优化措施: 1. **性能优化**: - 使用事务批量提交(减少磁盘I/O) - 插入前临时禁用索引: ```sql ALTER TABLE daily_data DISABLE KEYS; -- 插入操作... ALTER TABLE daily_data ENABLE KEYS; ``` - 调整`bulk_insert_buffer_size`参数(建议256MB+) 2. **时间字段处理**: - 使用`CURRENT_TIMESTAMP`作为默认值自动记录插入时间 - 或显式指定时间: ```sql INSERT INTO daily_data (data_content, created_at) VALUES ('sample', NOW()); ``` 3. **错误处理增强**: ```sql DECLARE EXIT HANDLER FOR SQLEXCEPTION BEGIN ROLLBACK; INSERT INTO error_logs (message) VALUES ('Insert failed'); END; ``` #### 验证操作: ```sql -- 检查事件状态 SHOW EVENTS; -- 手动测试存储过程 CALL InsertDailyData(); -- 检查最新数据的时间戳 SELECT * FROM daily_data ORDER BY created_at DESC LIMIT 10; ``` #### 注意事项: 1. 确保`event_scheduler=ON`在`my.cnf`中持久化 2. 大量插入时建议使用`LOAD DATA INFILE`(比INSERT快20倍) 3. 监控事件日志: ```sql SELECT * FROM performance_schema.events_statements_history WHERE EVENT_NAME LIKE '%InsertDailyData%'; ``` 4. 分时段插入可避免锁表问题[^3] --- ### 相关问题 1. **如何优化MySQL百万级数据插入性能?** 2. **MySQL事件调度器不执行的可能原因有哪些?** 3. **如何记录存储过程执行中的错误信息?** 4. **数据库表设计时如何自动管理创建/更新时间字段?** 5. **MySQL事务隔离级别对批量插入有什么影响?** [^1]: 通过定时事件实现自动化数据管理 [^2]: 使用`ROW_COUNT()`验证操作影响行数 [^3]: 大表操作需考虑锁表和碎片问题
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

languageStudents

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值