mysql中获取表中随机数实现随机抽取

本文探讨了MySQL中提高随机抽取效率的方法,包括避免在ORDER BY子句中使用RAND()函数,以及通过调整SQL语句实现更快的查询速度。通过实验比较不同策略的性能,最终提供了一个优化后的SQL查询语句。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

mysql中获取表中随机数实现随机抽取

 

        近由于需要大概研究了一下MYSQL的随机抽取实现方法。举个例子,要从tablename表中随机提取一条记录,大家一般的写法就是:SELECT * FROM tablename ORDER BY RAND() LIMIT 1。

  但是,后来我查了一下MYSQL的官方手册,里面针对RAND()的提示大概意思就是,在ORDER BY从句里面不能使用RAND()函数,因为这样会导致数据列被多次扫描。但是在MYSQL 3.23版本中,仍然可以通过ORDER BY RAND()来实现随机。

  但是真正测试一下才发现这样效率非常低。一个15万余条的库,查询5条数据,居然要8秒以上。查看官方手册,也说rand()放在ORDER BY 子句中会被执行多次,自然效率及很低。

  You cannot use a column with RAND() values in an ORDER BY clause, because ORDER BY would evaluate the column multiple times.

 

  搜索Google,网上基本上都是查询max(id) * rand()来随机获取数据。

 

  SELECT *

  FROM `table` AS t1 JOIN (SELECT ROUND(RAND() * (SELECT MAX(id) FROM `table`)) AS id) AS t2

  WHERE t1.id >= t2.id

  ORDER BY t1.id ASC LIMIT 5;

  但是这样会产生连续的5条记录。解决办法只能是每次查询一条,查询5次。即便如此也值得,因为15万条的表,查询只需要0.01秒不到。

 

  下面的语句采用的是JOIN,mysql的论坛上有人使用

 

  SELECT *

  FROM `table`

  WHERE id >= (SELECT FLOOR( MAX(id) * RAND()) FROM `table` )

  ORDER BY id LIMIT 1;

 

  我测试了一下,需要0.5秒,速度也不错,但是跟上面的语句还是有很大差距。总觉有什么地方不正常。

 

  于是我把语句改写了一下。

  SELECT * FROM `table`

  WHERE id >= (SELECT floor(RAND() * (SELECT MAX(id) FROM `table`)))

  ORDER BY id LIMIT 1;

  这下,效率又提高了,查询时间只有0.01秒

 

  最后,再把语句完善一下,加上MIN(id)的判断。我在最开始测试的时候,就是因为没有加上MIN(id)的判断,结果有一半的时间总是查询到表中的前面几行。

 

  完整查询语句是:

  SELECT * FROM `table`

  WHERE id >= (SELECT floor( RAND() * ((SELECT MAX(id) FROM `table`)-(SELECT MIN(id) FROM `table`)) + (SELECT MIN(id) FROM `table`)))

  ORDER BY id LIMIT 1;

  SELECT *

  FROM `table` AS t1 JOIN (SELECT ROUND(RAND() * ((SELECT MAX(id) FROM `table`)-(SELECT MIN(id) FROM `table`))+(SELECT MIN(id) FROM `table`)) AS id) AS t2

  WHERE t1.id >= t2.id

  ORDER BY t1.id LIMIT 1;

 

  最后在php中对这两个语句进行分别查询10次,

 

  前者花费时间 0.147433 秒

  后者花费时间 0.015130 秒

  看来采用JOIN的语法比直接在WHERE中使用函数效率还要高很多

### 实现方法 为了从 MySQL 数据随机抽取 60 条不重复的记录,可以采用多种方式。以下是几种常见且有效的方法。 #### 方法一:使用 `ORDER BY RAND()` 和 `LIMIT` 虽然这种方法简单直观,但由于性能问题,在处理大数据量时效率较低。MySQL 需要为每一行生成一个随机数并进行排序[^2]: ```sql SELECT * FROM table_name ORDER BY RAND() LIMIT 60; ``` 此查询会返回指定数量的随机记录,但在大上执行速度较慢。 #### 方法二:基于范围选择法 一种更高效的替代方案是从已知的最大 ID 中挑选一个起始点,并从中连续获取所需数量的数据。假设知道最大 ID 值,则可以通过以下 SQL 查询实现高效的选择: ```sql SET @start := FLOOR(RAND() * (SELECT MAX(id) FROM table_name)); SELECT * FROM table_name AS t1 JOIN ( SELECT (@start:=@start+1) AS id FROM information_schema.columns,(SELECT @start:=FLOOR(RAND()*(SELECT MAX(id)+1 FROM table_name)-60)) vars LIMIT 60 ) AS t2 ON t1.id >= t2.id LIMIT 60; ``` 这段代码首先计算了一个可能作为起点的最小 ID 数字;接着通过自连接的方式构建辅助序列用于匹配实际存在的记录直到满足所需的数目为止。这种方式避免了全扫描带来的开销[^3]。 #### 方法三:分桶采样算法 对于特别大的格来说,还可以考虑应用分桶采样的思路来进一步优化性能现。具体做法是先统计总共有多少条符合条件的目标数据,再按照一定比例分配到各个子区间内分别取样最后汇总结果集形成最终输出。 ```sql WITH RECURSIVE cte AS( SELECT COUNT(*) cnt , CEIL(COUNT(*)/60) bucket_size FROM table_name ), sampled_data AS( SELECT *, NTILE((SELECT bucket_size FROM cte)) OVER () AS bucket_num, ROW_NUMBER() OVER(PARTITION BY NTILE((SELECT bucket_size FROM cte))) row_in_bucket FROM table_name ) SELECT sd.* FROM sampled_data sd WHERE EXISTS(SELECT 1 FROM (SELECT DISTINCT bucket_num FROM sampled_data ORDER BY RAND() LIMIT 60) b WHERE b.bucket_num = sd.bucket_num); ``` 上述 CTE 达式定义了两个部分:一个是用来确定总的样本空间大小以及每份应该包含几项(`bucket_size`);另一个则是针对原始数据集进行了分区编号标记以便后续筛选操作能够均匀分布于整个范围内[^1]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值