从10w条记录随机取出n条记录高效率解决方案

最新推荐文章于 2023-09-11 21:01:18 发布
原创 最新推荐文章于 2023-09-11 21:01:18 发布 · 913 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了在数据集中随机抽取n条记录时，避免使用orderbyrand()的原因及其效率低下。提出了一个简单且高效的替代方案，包括将所有数据放入数组、打乱数组排序并取出前n个元素。

在从大量数据中随机取出n条记录应避免使用order by rand() ，否则效率会非常低


个人觉得简单又高效的方案：

第一步：取出所有数据放在数组中$data

第二步：打乱数组排序  shuffle($data)

第三步 ： 取出前n个值 ：array_slice ($data,0,n)

无人机应急物资配送系统：灾害救援的创新解决方案
AI天才研究院
11-20 1653
《无人机应急物资配送系统：灾害救援的创新解决方案》 关键词：无人机、应急物资、灾害救援、路径规划、自主飞行、AI技术 摘要：本文全面探讨了无人机应急物资
MYSQL——随机查询消息解决方案
庄小焱
12-30 430
摘要 这个英语学习 App 首页有一个随机显示单词的功能，也就是根据每个用户的级别有一个单词表，然后这个用户每次访问首页的时候，都会随机滚动显示三个单词。他们发现随着单词表变大，选单词这个逻辑变得越来越慢，甚至影响到了首页的打开速度。现在，如果让你来设计这个 SQL 语句，你会怎么写呢？ 为了便于理解，我对这个例子进行了简化：去掉每个级别的用户都有一个对应的单词表这个逻辑，直接就是从一个单词表中随机选出三个单词。这个表的建表语句和初始数据的命令如下： mysql> CREATE TABLE `
从大文件中随机抽取一定数据
红枣
12-20 705
在建模的时候，时常需要构造训练集和测试集，但当总数据比较大的时候，如何进行简单抽样也是一个问题。 假设有这样一个情况，一份数据总共有1,000,000条，要从中抽取100,000条左右的数据。每条数据相对比较大，把所有数据一次放入内存不靠谱，那么如何抽样呢？ 最龊的方法就是抽取头100,000或100,000条。 第二种能想到的方法就是，构造一个1-1,000,000的数组，然后从里面随机抽...
高效率随机删除数据（不重复）
weixin_34375233的博客
10-30 128
算法的复杂度就降低为 O(n) ，速度大大提高。 需求：前后数据x条不动，中间随机删除N条记录   实现： Dictionary<string, int> dictA = GetArrayListFromTxt(this.txtFileNameA.Text); Dictionary<string, int> dictB = GetArrayListFr...
虹软24届校招正式批---测试&amp；测开类笔试预计本周进行
2301_78234743的博客
09-11 362
出售2023年数字ic前端设计/FPGA笔记资料，面经，必看book推荐，大厂笔试题整理，常考手撕代码整理，学习路线，大厂笔试面试常考知识点，免费课程推荐等资料。OK，八股几乎都答出。来攒个人品1. 项目中的难点，最初面试官觉得不是很难，详细讲解项目的背景和现有的处理方案的区别2. kv存储结构存在的问题3. hbase结构和hbase结构存。超参数一面题没撕出来(给一堆点判断一共有多少个菱形)用友二面说我的方向不太匹配(投的测开)多乐游戏感觉面的还不错的，啥啥都答上来了，反手一个挂核心原因是我太菜了。
java取数据十条,Java性能优化的十条小技巧
weixin_30745053的博客
03-21 378
1 System.nanoTime测试性能时，System.nanoTime比System.currentTimeMills更精确，前者使用纳秒计时，且对系统影响更小。具体来说：System.currentTimeMills返回自1970年1月1日以来经过的毫秒数，返回的精度与操作系统有关System.nanoTime：不是现实时间，是虚拟机提供的计时时间，精确到纳秒2 ThreadLocalRa...
《MySQL学习》 表中随机取记录的方式
纸上得来终觉浅，绝知此事要躬行
02-26 678
​ 首先从磁盘扫描10000条数据读入内存临时表中，然后从内存临时表中将10000条数据一条条读入排序内存中，期间使用优先队列排序获取最大的三个值，最后再回到临时表中根据位置信息读取三条记录的值返回。这个临时表使用的是 memory 引擎，表里有两个字段，第一个字段是 double 类型，为了后面描述方便，记为字段 R，第二个字段是 varchar(64) 类型，记为字段 W。我们已知InnoDB排序有单路排序和双路排序，当排序的字段过长时，将使用双路排序导致要多回一次表，增加IO成本。
Java缓存面试题——Redis解决方案
二蛋的博客
02-28 6320
1、什么是缓存击穿？该如何解决2、什么是缓存穿透？该如何解决3、什么是缓存雪崩？该如何解决4、什么是BigKey？该如何解决bigkey的危害发现bigkey解决bigkey5、redis过期策略都有哪些？6、讲一讲Redis缓存的数据一致性问题和处理方案
行车记录仪存储解决方案：如何选择合适的存储卡，专家的建议在这里
[行车记录仪存储解决方案：如何选择合适的存储卡，专家的建议在这里](https://p9-pc-sign.douyinpic.com/tos-cn-p-0015/oIAvRCLFIaPBIALHCvQZcIDG4tSg3ii8Owry7~tplv-tsj2vxp0zn-gaosi:40.jpeg?from=327834062&x-...
如何快速设计一个高并发系统？
热门推荐
曾经“等你生日那天”都遥远得像未来，如今却可欢愉的挥手说“下个十年见”
04-17 5万+
高并发系统设计与优化 高并发系统设计应包括： 系统拆分：功能和数据拆分提升扩展性。 缓存机制：利用本地和分布式缓存（如Redis）减少数据库负担。 消息队列：使用MQ（如Kafka）处理流量，支持异步处理。 分库分表：将数据分布到多个数据库和表中。 读写分离：主从数据库架构优化读写性能。 搜索引擎：用ElasticSearch进行高效检索。 性能监控：进行压力测试和实时监控，保证系统稳定。 这些策略能有效提升高并发场景下的系统性能和稳定性。
四种数据库随机获取N条数据的方法
weixin_30367543的博客
09-06 440
1.SQL Server: SELECT TOP n * FROM tableName ORDER BY NEWID(); 2.ORACLE: SELECT * FROM (SELECT * FROM tableNameORDER BY DBMS_RANDOM.RANDOM()) WHERE RONUM <= n 3.MySQL: SELECT * FROM...
[MySQL] 分组排序取前N条记录以及生成自动数字序列，类似group by后 limit
09-10 158
前言： 同事的业务场景是，按照cid、author分组，再按照id倒叙，取出前2条记录出来。 oracle里面可以通过row_number() OVER (PARTITION B...
在 MySQL中，从10 万条主键不连续的数据里随机取 3000 条，如何做到高效？
做一个专业的人
05-27 7322
看到知乎上有人提问 几百万记录的表，每天大概有10万条记录发生更新，从这10万条里随机取3000条做数据分析， select id from table where date_refresh = 20120329 order by rand() limit 0,3000 狂慢！！！大概三四十秒吧，怎么优化？ 这个也算是mysql的一个经典问题了。 上面这种
postgresql取随机记录
kmblack1的专栏
10-24 5566
原创,转载请注明出处!postgresql取随机记录有以下几种方式,请参阅:http://blog.chinaunix.net/uid-20332519-id-5616589.html 另一种相对简单的算法如下:explain (analyze,verbose,costs,buffers,timing)select * from 表名 where 主键=ANY((    with cte as( 
数组随机选取5条数据
weixin_30896825的博客
11-11 534
数组随机选取5条数据 //随机排序 选取前5条 数组.sort(function(){return Math.random()>0.5?-1:1;}) posted on 2013-11-11 16:48 Supe 阅读(...) 评论(...) 编...
四种数据库随机获取10条数据的方法
资料汇总整理-仅供个人学习使用
06-16 1万+
四种数据库随机获取10条数据的方法 SQL Server: 复制代码代码如下: SELECT TOP 10 * FROM T_USER ORDER BY NEWID() ORACLE: 复制代码代码如下: SELECT * FROM (SELECT * FROM T_USER ORDER BY DBMS_RANDOM.RANDOM()) WHER
postgresql取第一行数据_postgresql-从表中随机获取一条记录
weixin_39604139的博客
12-23 1372
postgresql如何从表中高效的随机获取一条记录select C_BH from db_scld.t_scld_cprscjl order by `random()` LIMIT 1;select c_jdrybm from db_scld.t_jdrywhere c_bmbm = v_scdd and c_sfyx ='1' and c_ryzszt not in ('05','12',...
帮我写一个sql，从多个分类中抽取10条数据，保证均匀度
最新发布
08-01
<think>我们有一个需求：从多个分类中均匀抽取10条数据。这意味着我们需要从每个类别中抽取一定数量的记录，使得总体分布均匀。但注意，总共只抽取10条，而不是每个类别10条。 思路： 1. 我们需要知道每个类别中有多少数据，以及我们希望从每个类别中抽取的比例。但题目要求均匀分布，所以理想情况下每个类别抽取的数量应该大致相等。 2. 然而，如果类别数量超过10，那么每个类别最多只能抽1条，有些类别可能抽不到（因为总共10条）。如果类别数量少于10，那么我们可以让每个类别抽取的数量尽可能相等（比如有的类别抽2条，有的抽1条，总和为10）。 具体做法： 我们可以使用窗口函数为每个类别内的记录分配一个随机序号，然后按类别分组，在每个组内选择一定数量的记录。但是，我们需要动态分配每个类别应该抽取多少条记录。 步骤： 1. 计算每个类别的记录数，并确定每个类别应该抽取的记录数（按比例分配，但要求均匀分布，所以尽量平均分配10条记录到各个类别）。 2. 我们可以使用NTILE函数或者ROW_NUMBER()配合总类别数来分配每个类别的抽取数量。 然而，SQL中实现按比例均匀分配并不简单。另一种思路是： - 首先，我们为每个类别的数据随机排序，然后为每个类别生成一个行号（按随机顺序）。 - 然后，我们按类别分组，在每个组内取前k条（k根据该类别应分配的数量确定）。 问题在于如何确定每个类别应该取多少条？我们可以这样： 设总类别数为C，总记录数N，但我们只关心10条记录如何分配到C个类别中。 我们可以使用以下方法： a. 计算每个类别应该抽取的最小数量：base = floor(10 / C) b. 然后剩余记录数：remain = 10 % C c. 然后，对于前remain个类别（可以随机选择哪几个类别），每个类别多抽1条。 但是，在SQL中如何实现这个分配呢？ 具体步骤： 步骤1：计算每个类别，并给每个类别分配一个随机序号（用于决定哪些类别多分一条） 步骤2：为每个类别内的记录随机排序 步骤3：根据步骤1中分配的每个类别的抽取数量（base + 如果该类别在随机序号中<=remain则加1，否则不加）来抽取每个类别的前若干条记录。 但是，这个查询可能比较复杂，而且不同的数据库系统可能有不同的语法。这里我们尝试使用通用的SQL语法（假设支持窗口函数）。 假设我们有一个表`items`，包含字段： id: 记录的唯一标识 category: 类别 我们按照以下步骤： 1. 计算总类别数（C）和每个类别的记录数（这一步可以单独计算，但我们需要在查询中动态计算类别总数和每个类别的抽取数量） 2. 使用窗口函数为每个类别分配行号（按随机顺序），同时为每个类别分配一个全局的随机序号（用于决定哪些类别多分一条） 3. 计算每个类别应该抽取的数量： 基础数量：base = floor(10 / C) 剩余数量：remain = 10 % C 然后，我们按某个随机顺序（比如类别的随机序号）给每个类别排序，然后前remain个类别多分1条。 4. 然后，在每个类别内取前（base + 如果该类别在随机序号中<=remain则加1，否则0）条记录。 但是，注意：我们可能没有足够的记录：如果某个类别的记录数小于它应该分配的数量，那么我们就只能取该类别所有记录，然后调整其他类别的抽取数量？但这样会破坏均匀性。题目没有说明，我们假设每个类别都有足够的记录（至少大于base+1）。 为了简化，我们假设每个类别都有足够的数据（大于base+1），这样我们就能保证每个类别都能抽到足够的记录。 具体SQL如下（我们使用CTE和窗口函数）： 注意：由于不同数据库的随机函数不同，我们使用RAND()（在MySQL中）或RANDOM()（在PostgreSQL中）或NEWID()（在SQL Server中）来生成随机顺序。这里我们使用RAND()作为示例，具体数据库可能需要调整。 步骤分解： 第一步：计算总类别数（C）和每个类别的记录数（我们可以在一个子查询中完成） 第二步：为每个类别分配一个随机的序号（用于决定哪些类别多分一条），同时为每个类别内的记录分配随机行号（用于抽取该类别内的随机记录） 第三步：计算每个类别应该抽取的数量 第四步：根据每个类别的抽取数量，取出记录 但是，由于总类别数C需要在同一查询中计算，我们可以用窗口函数计算总类别数（DISTINCT COUNT），但注意，窗口函数不能直接计算DISTINCT值。因此，我们可以先得到所有类别，然后计算总类别数。 另一种方法是先计算类别总数，然后与原始表连接。这里我们使用CTE。 具体实现（以MySQL为例，因为引用中出现了MySQL，但注意MySQL 8.0以上才支持窗口函数）： 注意：如果使用MySQL 5.7，可能不支持窗口函数，那么就需要使用变量。但这里我们假设使用支持窗口函数的数据库。 查询语句： 我们分步骤写： WITH -- 首先，获取每个类别的记录，并为每个类别内的记录随机排序 category_data AS ( SELECT *, ROW_NUMBER() OVER (PARTITION BY category ORDER BY RAND()) AS rn_in_category FROM items ), -- 然后，计算每个类别的记录数（其实我们不需要每个类别的记录数，因为假设足够多），但我们需要总类别数和为每个类别分配序号（随机） categories AS ( SELECT category, -- 为每个类别分配一个随机的全局序号（用于决定哪些类别多分一条） ROW_NUMBER() OVER (ORDER BY RAND()) AS rn_category FROM (SELECT DISTINCT category FROM items) AS distinct_cats ), -- 计算总类别数 total_categories AS ( SELECT COUNT(*) AS total FROM categories ), -- 计算每个类别应该抽取的数量：基础数量base和剩余数量remain -- 然后，对于每个类别，如果它的随机序号小于等于remain，那么抽取数量=base+1，否则base category_limits AS ( SELECT category, CASE WHEN rn_category <= (SELECT total % 10 FROM total_categories) THEN FLOOR(10 / (SELECT total FROM total_categories)) + 1 ELSE FLOOR(10 / (SELECT total FROM total_categories)) END AS num_to_fetch FROM categories ) -- 最后，从category_data中取出记录，连接category_limits，然后取每个类别内行号小于等于num_to_fetch的记录 SELECT cd.* FROM category_data cd JOIN category_limits cl ON cd.category = cl.category WHERE cd.rn_in_category <= cl.num_to_fetch; 但是，这个查询有一个问题：总类别数total_categories是固定的，但10除以类别数可能不是整数，我们这里用FLOOR(10/total)作为基础数量，然后余数部分分配给前remain个类别（每个类别加1）。这样总数量就是10。 但是，注意：当类别数不能整除10时，我们这样分配可以保证总数为10。例如，类别数=3，那么base=3（因为10/3=3.33，取整为3），余数=1，所以前1个类别（随机分配）取4条，其余两个类别取3条，总共4+3+3=10。 但是，如果类别数大于10呢？比如类别数=12，那么base=0（因为10/12=0.83，取整为0），余数=10，那么前10个类别取1条，后2个类别取0条。这样总数为10。 所以，这个方案是可行的。 但是，我们需要注意：当类别数大于10时，base=0，然后有10个类别取1条，其余类别取0条。这样正好10条。 但是，如果类别数小于等于10，那么base至少是1（当类别数=10时，base=1，余数=0，所以每个类别1条，共10条；当类别数=5，base=2，余数=0，每个类别2条，共10条；当类别数=6，base=1，余数=4，那么前4个类别取2条，后2个类别取1条，总共4*2+2*1=10条）。 因此，这个分配方案是合理的。 但是，我们还需要注意：如果某个类别的记录数小于它应该分配的数量（num_to_fetch）怎么办？比如某个类别应该取2条，但它只有1条。这样我们实际取出的记录就会少于10条。 如何解决？我们可以考虑递归或者多次尝试，但这样会复杂化。题目没有要求，我们可以先不考虑，或者用以下方法：如果某个类别的记录数不够，那么我们就取该类别所有记录，然后从其他类别中补足。但这样会破坏均匀性。 由于题目要求均匀抽取，而且没有说明类别记录不足的情况，我们假设每个类别都有足够的记录（至少大于base+1）。 另外，注意：我们为每个类别分配随机序号（rn_category）时，使用了ORDER BY RAND()，这样每个类别被分配到的序号是随机的，所以哪些类别多分一条也是随机的。 最后，我们按照这个查询，取出记录。 但是，这个查询可能效率不高，因为涉及多个子查询和连接。对于大数据集，我们需要优化。 另外，在MySQL中，RAND()在窗口函数中使用可能每次都会重新计算，但实际测试可能需要验证。在MySQL 8.0中，窗口函数中的RAND()可能会为每一行计算不同的随机数，所以每个类别内的行号是随机的。 注意：在引用中，我们看到了MySQL的FETCH语法，但这里我们使用的是窗口函数，所以需要MySQL 8.0或更高版本。 如果数据库版本不支持窗口函数，我们可以用其他方法，比如使用临时表或变量，但这样会复杂很多。 因此，我们给出支持窗口函数的SQL查询。 但是，我们注意到引用[1]中使用了OFFSET FETCH，引用[5]中使用了mysql_fetch_array，这些是分页查询，但和我们的需求不同。 另外，引用[3]提到了HQL的join fetch，这是Hibernate的语法，和我们的需求无关。 所以，我们按照上述思路编写SQL。 但是，我们也可以简化：不需要先计算每个类别的抽取数量，而是使用一个统一的窗口函数，为每个类别的记录随机排序，然后为每个类别分配一个全局的随机值（用于决定多抽的类别），然后一次完成。 我们尝试合并步骤： 另一种写法（参考）： WITH total_categories AS (SELECT COUNT(DISTINCT category) AS total FROM items), data AS ( SELECT *, ROW_NUMBER() OVER (PARTITION BY category ORDER BY RAND()) AS rn, -- 每个类别内随机排序 ROW_NUMBER() OVER (ORDER BY RAND()) AS global_rn -- 全局随机排序，但注意：这里每个类别只取一条来代表该类别的随机顺序？不对，我们需要每个类别一个序号 FROM items ), -- 但是，我们需要每个类别一个随机序号，所以我们可以用DENSE_RANK来分配类别的随机序号 -- 但这样不行，因为每个类别有多条记录。所以我们需要先对类别进行去重。 所以，我们还是需要分开步骤。 因此，我们使用前面写的分步CTE。 最后，我们输出10条记录（注意，可能因为类别记录不足而少于10条，但假设足够）。 总结查询： 注意：在MySQL中，CTE需要8.0以上版本。 如果数据库不支持CTE，我们可以使用临时表或嵌套子查询。 由于问题没有指定数据库版本，我们给出一个标准SQL（支持窗口函数和CTE）的写法。 如果实际数据库不支持，可能需要调整。 另外，我们还可以考虑使用GROUP BY和聚合函数，但这里我们使用CTE和窗口函数。 最终SQL： 我们写完整： WITH distinct_categories AS ( SELECT DISTINCT category FROM items ), total_categories AS ( SELECT COUNT(*) AS total FROM distinct_categories ), categories_with_rand AS ( SELECT category, ROW_NUMBER() OVER (ORDER BY RAND()) AS rn_category FROM distinct_categories ), category_data AS ( SELECT items.*, ROW_NUMBER() OVER (PARTITION BY items.category ORDER BY RAND()) AS rn_in_category FROM items ), category_limits AS ( SELECT cwr.category, FLOOR(10 / (SELECT total FROM total_categories)) AS base, (SELECT total FROM total_categories) AS total_cat, cwr.rn_category FROM categories_with_rand cwr ), category_fetch_count AS ( SELECT cl.category, cl.base + CASE WHEN cl.rn_category <= (10 % cl.total_cat) THEN 1 ELSE 0 END AS num_to_fetch FROM category_limits cl ) SELECT cd.* FROM category_data cd JOIN category_fetch_count cfc ON cd.category = cfc.category WHERE cd.rn_in_category <= cfc.num_to_fetch; 这个查询在逻辑上可行，但可能因为四舍五入问题导致总数不是10？不会，因为我们用base和余数分配，保证了总数为10。 但是，我们需要注意：当类别数total_cat=0时（即没有数据），我们需要避免除零错误。我们可以加一个条件： 在total_categories中，如果total=0，则返回0，但这样后续计算会出错。所以我们可以先判断是否有数据。 为了安全，我们可以在total_categories中，如果total=0，则设置total=1（避免除零），但这样不会影响，因为如果没有数据，那么distinct_categories为空，后续都为空。 另外，如果类别数total_cat大于10，那么base=0（因为10/total_cat<1，取整为0），然后余数=10，所以前10个类别（按随机排序）取1条，这样总数就是10。 如果类别数total_cat=0，那么整个查询没有记录，所以不会返回任何数据。 因此，这个查询是安全的。 但是，我们还需要注意性能：在大型表上，为每个类别内的记录随机排序（ROW_NUMBER() OVER (PARTITION BY category ORDER BY RAND())）可能会很慢，因为需要为每个类别生成随机数并排序。 优化：如果每个类别只需要取少量记录（num_to_fetch很小），我们可以使用其他方法，比如只随机取几条，而不需要排序整个类别。但窗口函数要求排序整个类别，所以当类别很大时，性能可能不好。 替代方案：我们可以使用子查询和变量来模拟每个类别的随机排序，但这样也复杂。 因此，如果数据量很大，且类别内的记录数很多，这个查询可能会慢。但这是实现需求的一种方法。 最后，我们输出这个查询。 注意：由于引用中出现了MySQL的示例，我们假设用户可能使用MySQL，所以需要MySQL 8.0以上。 如果使用其他数据库，随机函数可能需要调整： - MySQL: RAND() - PostgreSQL: RANDOM() - SQL Server: NEWID() （在ORDER BY子句中用ORDER BY NEWID()，但窗口函数中不能直接用NEWID()，因为它是非确定性的？实际上可以，但会重新计算。在SQL Server中，窗口函数中的ORDER BY不能使用NEWID()，所以可能需要用其他方法，比如RAND()，但RAND()在窗口函数中会为所有行产生相同的值？所以需要小心。具体数据库具体分析。） 因此，我们写一个通用的，但可能需要根据数据库调整随机函数。 由于问题没有指定数据库，我们给出一个通用版本，使用RAND()，并说明在SQL Server中可能不工作。 在SQL Server中，我们可以尝试使用CHECKSUM(NEWID())来生成一个随机数，然后按这个随机数排序。例如： ROW_NUMBER() OVER (PARTITION BY category ORDER BY CHECKSUM(NEWID())) AS rn_in_category 但这样可能会慢。 所以，具体实现可能需要根据数据库调整。 综上所述，我们给出了一个通用解决方案，并说明了注意事项。 相关问题： 1. 如果某个类别的记录数量不足，无法抽取所需数量，该如何调整查询以保证总数为10？ 2. 在数据量非常大的情况下，如何优化这个查询的性能？ 3. 在MySQL 5.7等不支持窗口函数的旧版本中，如何实现相同的需求？ 4. 如何修改查询以支持按权重抽取（例如某些类别抽取比例更高）？ 5. 如果希望每个类别至少抽取一条，但总条数可以超过10条，该如何修改？</think>### SQL查询：从多个分类中均匀抽取10条数据 要实现在多个分类中均匀抽取10条数据（即每个类别抽取的记录数尽量平均），可以使用窗口函数结合随机排序和动态分配策略。以下是具体实现方法（基于标准SQL，支持窗口函数的数据库如MySQL 8.0+、PostgreSQL等均可使用）： #### 最终查询语句 ```sql WITH distinct_categories AS ( SELECT DISTINCT category FROM items ), total_categories AS ( SELECT COUNT(*) AS total FROM distinct_categories ), categories_with_rand AS ( SELECT category, ROW_NUMBER() OVER (ORDER BY RAND()) AS rn_category FROM distinct_categories ), category_data AS ( SELECT *, ROW_NUMBER() OVER (PARTITION BY category ORDER BY RAND()) AS rn_in_category FROM items ), category_limits AS ( SELECT cwr.category, FLOOR(10 / (SELECT total FROM total_categories)) AS base, (SELECT total FROM total_categories) AS total_cat, cwr.rn_category FROM categories_with_rand cwr ), category_fetch_count AS ( SELECT cl.category, cl.base + CASE WHEN cl.rn_category <= (10 % cl.total_cat) THEN 1 ELSE 0 END AS num_to_fetch FROM category_limits cl ) SELECT cd.* FROM category_data cd JOIN category_fetch_count cfc ON cd.category = cfc.category WHERE cd.rn_in_category <= cfc.num_to_fetch; ``` #### 关键步骤解析 1. **计算总类别数** ```sql total_categories AS (SELECT COUNT(*) AS total FROM distinct_categories) ``` 确定总类别数$C$，用于后续分配比例。 2. **随机分配类别优先级** ```sql categories_with_rand AS (... ROW_NUMBER() OVER (ORDER BY RAND()) ...) ``` 为每个类别分配随机序号（用于决定哪些类别多抽一条）。 3. **动态计算每类抽取数量** - 基础数量：$base = \lfloor10 / C\rfloor$ - 余数处理：前$R$个类别（$R = 10 \mod C$）额外多抽1条 ```sql cl.base + CASE WHEN cl.rn_category <= (10 % cl.total_cat) THEN 1 ELSE 0 END ``` 4. **类别内随机抽样** ```sql ROW_NUMBER() OVER (PARTITION BY category ORDER BY RAND()) ``` 每个类别内按随机顺序编号，确保抽取随机性。 #### 示例说明 假设有3个类别（$C=3$）： - $base = \lfloor10/3\rfloor = 3$ - $R = 10 \mod 3 = 1$（前1个类别多抽1条） - 最终抽取：1个类别抽4条 + 2个类别抽3条 = 10条 #### 注意事项 1. **随机性保证** `ORDER BY RAND()`确保每次执行结果随机（不同数据库随机函数可能不同，如PostgreSQL用`RANDOM()`）。 2. **数据不足处理** 若某类别记录数小于`num_to_fetch`，实际抽取数=该类别总记录数（总结果可能少于10条）。需确保数据量充足。 3. **性能优化** 大数据集下可添加条件限制扫描范围（如`WHERE category IN (...)`)或对`category`建索引。 4. **数据库兼容性** - **MySQL 5.7等旧版本**：改用用户变量模拟窗口函数 - **SQL Server**：将`RAND()`替换为`NEWID()` - **Oracle**：使用`DBMS_RANDOM.VALUE`排序 > 引用说明：本方案通过动态计算类别分配比例实现均匀抽样，其中窗口函数和随机排序是关键[^1][^5]，实际执行效率取决于数据分布和索引优化[^2]。 --- ### 相关问题 1. **当某些类别的数据量不足时，如何保证总抽取数仍为10条？** （需设计备用方案：不足部分从其他类别补抽） 2. **在MySQL 5.7等不支持窗口函数的数据库中如何实现相同功能？** （需用用户变量+临时表模拟分区计算） 3. **如何优化超大数据集下的查询性能？** （索引策略、分批处理、物化视图等方案） 4. **如何按类别权重比例抽取（非均匀）而非均等抽取？** （需引入权重系数动态调整`num_to_fetch`） 5. **抽取结果如何实现可重复性（固定随机种子）？** （数据库相关实现如MySQL的`RAND(N)`）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT界鸟叔

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值