从MySQL随机选取数据

最新推荐文章于 2023-09-06 11:20:47 发布
最新推荐文章于 2023-09-06 11:20:47 发布
阅读量249 收藏
点赞数 1
CC 4.0 BY-SA版权
文章标签： 数据库 php
原文链接：http://www.cnblogs.com/jackhub/p/3804358.html

--从MySQL随机选取数据

-------------------------2014/06/23

 

从MySQL随机选取数据最简单的办法就是使用”ORDER BY RAND()”;

方案一：

[php] view plaincopy
 
  1. SELECT * FROM `table` ORDER BY RAND() LIMIT 0,1;  


这种方法的问题就是非常慢。原因是因为MySQL会创建一张零时表来保存所有的结果集，然后给每个结果一个随机索引，然后再排序并返回。

有几个方法可以让它快起来。

基本思想就是先获取一个随机数，然后使用这个随机数来获取指定的行。

由于所有的行都有一个唯一的id，我们将只取最小和最大id之间的随机数，然后获取id为这个数行。为了让这个方法当id不连续时也能有效，我们在最终的查询里使用”>=”代替”=”。

为了获取整张表的最小和最大id，我们使用MAX()和MIN()两个聚合函数。这两个方法会返回指定组里的最大和最小值。在这里这个组就是我们表里的所有id字段值。

方案二：

[php] view plaincopy
 
  1. $range_result = mysql_query( " SELECT MAX(`id`) AS max_id , MIN(`id`) AS min_id FROM `table` ");  
  2. $range_row = mysql_fetch_object( $range_result );  
  3. $random = mt_rand( $range_row->min_id , $range_row->max_id );  
  4. $result = mysql_query( " SELECT * FROM `table` WHERE `id` >= $random LIMIT 0,1 ");   


就像我们刚才提到的，这个方法会用唯一的id值限制表的每一行。那么，如果不是这样情况怎么办？

下面这个方案是使用了MySQL的LIMIT子句。LIMIT接收两个参数值。第一个参数指定了返回结果第一行的偏移量，第二个参数指定了返回结果的最大行数。偏移量指定第一行是0而不是1。

为了计算第一行的偏移量，我们使用MySQL的RAND()方法从0到1之间生成一个随机数。然后我们把这个数字跟我们用COUNT()方法获取倒的表记录数相乘。由于LIMIT的参数必须是int型而不能是float，我们使用FLOOR()来处理结果。FLOOR()会计算小于表达式的最大值。最终的代码就是这样：

方案三：

[php] view plaincopy
 
  1. $offset_result = mysql_query( " SELECT FLOOR(RAND() * COUNT(*)) AS `offset` FROM `table` ");  
  2. $offset_row = mysql_fetch_object( $offset_result );  
  3. $offset = $offset_row->offset;  
  4. $result = mysql_query( " SELECT * FROM `table` LIMIT $offset, 1 " );  


在MySQL 4.1以后我们可以使用子子查询合并上面两个方法：

方案四：

[php] view plaincopy
 
  1. SELECT * FROM `table` WHERE id >= (SELECT FLOOR( MAX(id) * RAND()) FROM `table` ) ORDER BY id LIMIT 1;  


这个方案跟方案二有同样的弱点，只对有唯一id值的表有效。

记住我们最初寻找选择随机行的替代方法的原因，速度！所以，这些方案的在执行时间上的比较会怎么样？我不会指出硬件和软件配置或者给出具体的数字。大概的结果是这样的：

  • 最慢的是解决方案一（我们假定它用了100%的时间）。
  • 方案二用了79%
  • 方案三 - 13%
  • 方案四 - 16%

方案三胜出！

 

转载于:https://www.cnblogs.com/jackhub/p/3804358.html

MySQL实现随机获取表中的数据
BjmmVue的博客
09-22 1767
综上所述，通过使用MySQL的ORDER BY RAND()语句或使用子查询和随机函数，我们可以实现从表中随机获取数据的功能。根据具体的场景和性能需求，选择合适的方法来实现随机数据的提取。最简单的方法是使用MySQL的ORDER BY RAND()语句。这个语句将会给表中的每一行分配一个随机值，并按照这个随机值进行排序。本文将介绍如何使用MySQL实现从表中获取随机数据的方法。为了提高性能，我们可以使用子查询和随机函数来实现随机获取表中的数据。上述语句中，我们首先使用子查询获取表中的最大。
mysql如何从数据表中一次随机选取多个不重复的记录?
weixin_42825317的博客
07-29 1414
文章目录 前言 一、示例表数据 二、相关代码 总结 前言 在mysql初学过程中通常会遇到很多问题，甚至感觉简单sql语句并不能满足我们的设计需求，后来才发现简单的查询组合语句却能实现许多我们意想不到的结果，我们需要打开自己的思维，以下示例，一次从表中随机选取多个不同的数。希望能给到你帮助 提示：以下是本篇文章正文内容，下面案例可供参考 目的：将从表中一次随机的提取5个sn记录 一、数据表示例 代码如下（示例）： CREATE TABLE `td_select_num` ( ..
MySQL随机选取数据
管子（zero）的杂乱空间
12-23 1854
<!--google_ad_client = "pub-4490194096475053";/* 内容页,300x250,第一屏 */google_ad_slot = "3685991503";google_ad_width = 300;google_ad_height = 250;// -->本文实现了MySQL的随机数、MySQ随机选取数据、MySQ随机
mysql的随机查询
weixin_34037173的博客
10-25 780
2019独角兽企业重金招聘Python工程师标准>>> ...
MySQL中随机选取元素
qq_40276626的博客
10-13 1487
有点时候，我们会需要随机选取表中的一个记录，以下有几种方法可以随机选择 1、select * from t where id >= rand limit 1 rand是一个随机值， 我们可以首先获取n = min(id)和m = max(id) rand = n + rand()*(m-n); rand是介于 最大 id 和最小id之间的一个id。 优点： 快速方便，只需要扫描三行记录就可以获取到 缺点： 如果id分布不均匀的话，会出现伪随机，也就是每个id被选取的概率不相等。比如1，2，4，5。4被
mysql 随机选取一条记录
weixin_37837181的博客
11-02 440
mysql 随机选取一条记录 SELECT * FROM table AS t1 JOIN (SELECT ROUND(RAND() * ((SELECT MAX(id) FROM table)-(SELECT MIN(id) FROM table))+(SELECT MIN(id) FROM table)) AS id) AS t2 WHERE t1.id &amp;amp;amp;amp;gt;= t2.id ORDER B...
MySQL 随机查询数据与随机更新数据实现代码
09-11
例如，如果你有一个名为`table_name`的表，并想随机选取5条记录，你可以编写以下SQL语句： ```sql SELECT * FROM table_name ORDER BY RAND() LIMIT 5; ``` 这里的`RAND()`函数在MySQL中返回0到1.0之间的随机浮点...
mysql获取随机数据的方法
12-15
在MySQL中，获取随机数据是常见的需求，尤其是在测试、数据分析或者构建某些特定功能时。本文将探讨两种常用的方法，以及如何根据数据量和需求选择合适的方法。 方法一：使用`ORDER BY RAND()`函数 `ORDER BY RAND...
MySQL 随机函数获取数据速度和效率分析
09-09
首先，最直观的随机选取数据的方法是使用`ORDER BY RAND()`，例如： ```sql SELECT * FROM table_name ORDER BY RAND() LIMIT 5; ``` 然而，这种方法的效率非常低，因为`RAND()`函数会在排序过程中被计算无数次，...
随机选择记录（mysql）
lyw19930812的博客
10-24 588
mysql
mysql随机抽取数据，效率
weixin_41771218的博客
10-22 1936
因为mysql数据的最大值和最小值的获取几乎是0消耗的，数据库表数据与自身主键ID的集合做join查询，是非常快速的。 1：select * from users order by rand() LIMIT 10000 在ORDER BY从句里面不能使用RAND()函数， 因为这样会导致数据列被多次扫描，导致效率相当相当的低！效率不行，切忌使用！ 2：SELECT * FROM users ...
mysql 随机函数
洛冰翼的专栏
06-07 4138
MySQL RAND()函数调用可以在0和1之间产生一个随机数 floor：函数只返回整数部分，小数部分舍弃。 round：函数四舍五入，大于0.5的部分进位，不到则舍弃。 若要在i ≤ R ≤ j 这个范围得到一个随机整数R ，需要用到表达式 FLOOR(i + RAND() * (j – i + 1))。 例如， 若要在7 到 12 的范围（包括7和12）内得到一个
MySQL查询 之 随机查询
zuihongyan518的博客
07-01 4854
mysql实现随机获取几条数据的方法对SQL语句的解释说明：tablename--表名m--想要获取的数据条数t1--tablename表的别名1：SELECT * FROM tablename ORDER BY RAND() LIMIT m；2：SELECT * FROM tablename WHERE id &gt;= (SELECT FLOOR( MAX(id) * RAND()) FROM...
mysql 随机查询_MySQL 实现随机查询
eyes++的博客
08-25 5172
方法一不建议使用，效率非常低，官方文档中进行说明：Order By和RAND()连用，会多次扫描表，导致速度变慢。
Mysql 随机字符串函数
Hong_pro的博客
09-06 2003
Mysql 随机字符串函数
MySQL中的随机值
thenile的专栏
11-08 641
rand()函数，随机出0-1的值 例： 随机出1到3的数值 SELECT (ROUND(RAND()*2)+1) AS rnd3; 随机-5到5的值 SELECT ROUND((0.5-RAND())*2*5)  #注释 #0.5-rand()可以得到-0.5 至 +0.5的随机数 #(0.5-rand())*2可以得到-1 至 +1的随机数 #(0.5-rand())*2*5
MySQL-生成随机数
热门推荐
Kox_233的博客
04-24 2万+
MySQL生成随机数。
Mysql产生随机值 （产生表里以前没有的）
yehui186之中期回顾
08-08 537
SELECT * FROM tbl_school WHERE id = ( SELECT random_num FROM (   SELECT FLOOR(RAND() * 999999) AS random_num    FROM tbl_school   UNION   SELECT FLOOR(RAND() * 999999) AS random_num ) AS ss WHERE "ra...
sqlalchemy从mysql随机取10000条数据
最新发布
02-21
<think>好的，我现在需要帮助用户了解如何使用 SQLAlchemy 从 MySQL 中随机获取10000条数据。首先，我得回忆一下 SQLAlchemy 的基本用法，以及如何在 MySQL 中实现随机取数据的功能。 用户的问题是关于随机取数据的，所以首先想到的是 MySQL 中的 ORDER BY RAND() 方法。不过我记得这种方法在大数据量下可能会有性能问题，因为需要对整个表进行随机排序，当数据量很大时，效率会很低。不过用户只需要取10000条，如果数据表不是特别大，可能还可以接受。但如果表很大，这种方法可能不太合适，需要考虑其他优化方法。 接下来，我需要考虑如何通过 SQLAlchemy 来实现这个查询。SQLAlchemy 的 ORM 或者 Core 都可以使用。用户可能更倾向于 ORM 的方式，因为那更常见。不过两种方法都应该介绍一下，让用户有选择的空间。 对于 ORM 方式，首先需要定义模型类，或者使用自动映射。然后构建查询，使用 order_by(func.random()) 来生成 ORDER BY RAND()，然后使用 limit(10000) 来限制结果数量。需要注意 MySQL 的 RAND() 函数在 SQLAlchemy 中可能需要用 func.rand()，因为不同的数据库函数名称可能不同。例如，PostgreSQL 使用 RANDOM()，而 MySQL 使用 RAND()，所以正确的函数引用应该是 func.rand()。 然后，执行查询并获取结果。这里要注意的是，当数据量很大时，使用 ORDER BY RAND() 可能会非常慢，因为需要为每一行生成一个随机数并排序。对于这种情况，可能需要考虑其他方法，比如先获取最大ID，然后生成随机ID范围，或者使用预先计算的随机列，但这些方法可能比较复杂，并且可能不适用于所有情况，特别是当数据有删除或ID不连续的时候。 另外，用户可能需要分批次处理数据，或者使用更高效的随机抽样方法。例如，如果知道表的总行数，可以生成随机偏移量，然后使用 LIMIT 和 OFFSET，但这种方法在需要随机选取多个行时可能不够均匀，不过对于大数据量可能更高效。 不过用户明确要求的是随机取10000条，所以可能需要权衡性能和准确性。如果用户的数据量不大，直接使用 ORDER BY RAND() 加 LIMIT 是可行的；如果数据量很大，可能需要建议其他优化方法。 在代码示例中，我需要确保使用正确的函数，比如 func.rand()，并且在连接数据库时使用正确的 MySQL 连接字符串。例如，使用 pymysql 作为驱动，连接字符串格式是 mysql+pymysql://... 另外，还需要提醒用户注意性能问题，特别是当表中数据量超过百万时，ORDER BY RAND() 可能会非常慢。这时候可能需要建议替代方案，比如使用应用程序端的随机抽样（比如先获取所有ID，随机选择，再查询具体数据），或者使用 WHERE RAND() < 0.1 这样的条件进行近似抽样，然后调整比例以获取大约10000条数据。不过这些方法都有各自的优缺点，需要根据具体情况选择。 总结下来，回答的结构应该是： 1. 介绍使用 SQLAlchemy ORM 或 Core 的方法。 2. 提供示例代码，包括连接数据库、构建查询、获取结果。 3. 提醒性能问题，并给出可能的优化建议。 4. 指出不同方法的适用场景和限制。 需要确保代码正确，比如检查 func.rand() 是否正确对应 MySQL 的 RAND()，以及连接字符串是否正确。同时，要解释每个步骤的作用，让用户能够理解代码的含义。另外，可能需要提到事务和会话的管理，特别是在使用 ORM 时，是否需要提交或关闭会话等，不过在示例中可能简化处理。 最后，可能还需要检查是否有常见的错误，比如忘记导入 func，或者驱动未安装（如 pymysql），需要提醒用户安装必要的库。</think>使用 SQLAlchemy 从 MySQL 中随机获取 10000 条数据，可以通过以下方法实现。这里提供两种方式：**ORM（对象关系映射）**和 **Core（原始 SQL 表达式）**，并会解释性能注意事项。 -- ### 方法 1：使用 SQLAlchemy ORM ```python from sqlalchemy import create_engine, func from sqlalchemy.orm import sessionmaker from your_module import YourModel # 替换为你的模型类 # 创建数据库连接（替换为你的 MySQL 连接信息） engine = create_engine("mysql+pymysql://user:password@host:port/database") Session = sessionmaker(bind=engine) session = Session() # 使用 ORDER BY RAND() 随机排序，并取前 10000 条 random_data = session.query(YourModel)\ .order_by(func.rand())\ # MySQL 的 RAND() 函数 .limit(10000)\ .all() session.close() ``` --- ### 方法 2：使用 SQLAlchemy Core（原始 SQL） ```python from sqlalchemy import create_engine, text # 创建数据库连接 engine = create_engine("mysql+pymysql://user:password@host:port/database") # 直接执行 SQL 语句 with engine.connect() as connection: result = connection.execute( text("SELECT * FROM your_table ORDER BY RAND() LIMIT 10000") ) random_data = result.fetchall() ``` --- ### ⚠️ 性能注意事项 1. **`ORDER BY RAND()` 的局限性**： - 当表中数据量极大（如百万级）时，`ORDER BY RAND()` 会为每条数据生成随机值并排序，效率极低。 - **适用场景**：适合小规模数据或对性能不敏感的操作。 2. **优化建议**（针对大数据表）： - **预计算随机列**：新增一列存储随机数（如 0-1 之间的值），查询时按该列排序。 - **分页随机法**（需连续主键）： ```sql SELECT * FROM your_table WHERE id >= (SELECT FLOOR(RAND() * (SELECT MAX(id) FROM your_table))) LIMIT 10000; ``` - **应用层随机**：先查询所有符合条件的 ID，在代码中随机选择一批 ID，再通过 `WHERE IN` 查询具体数据。 --- ### 完整示例（ORM 优化版） ```python import random from sqlalchemy import create_engine, and_ from your_module import YourModel engine = create_engine("mysql+pymysql://user:password@host:port/database") # 假设主键是自增整数 max_id = session.query(func.max(YourModel.id)).scalar() selected_ids = random.sample(range(1, max_id + 1), 10000) # 分批查询避免 IN 语句过长 chunk_size = 1000 data = [] for i in range(0, len(selected_ids), chunk_size): chunk_ids = selected_ids[i:i + chunk_size] chunk = session.query(YourModel)\ .filter(YourModel.id.in_(chunk_ids))\ .all() data.extend(chunk) ``` --- ### 总结 - **小数据量**：直接用 `ORDER BY RAND() LIMIT 10000`。 - **大数据量**：优先使用主键随机或预计算随机列优化性能。 - 根据实际场景选择 ORM 或 Core 方式，前者适合模型化操作，后者适合直接控制 SQL。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值