使用Hive如何进行抽样查询？

最新推荐文章于 2024-08-16 15:29:20 发布
最新推荐文章于 2024-08-16 15:29:20 发布
阅读量594 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 大数据 数据库
原文链接：https://my.oschina.net/134596/blog/1800593

为什么80%的码农都做不了架构师？>>>   hot3.png

对于非常大的数据集，有时用户需要使用的是一个具有代表性的查询结果，而不是全部结果。Hive可以通过分桶抽样来满足这个需求。

通过rand()函数实现抽样（可以通过分桶裁剪提高抽样效率）

通过块抽样（百分比）实现抽样

注：在使用rand进行抽样是可以使用桶进行输入裁剪。

转载于:https://my.oschina.net/134596/blog/1800593

一文说透hive中的分桶及抽样查询
石榴姐yyds
03-29 1865
本文围绕hive中分桶问题进行展开研究，分析了hive分桶与分区的区别，分桶的相关原理、分桶的优势，并对分桶的操作方法进行详细论述，给出了具体的操作步骤及案例，本文所有的操作案例均在机器上得到验证，读者可根据本文所提供的思路快速学习到hive分桶的相关知识。
Hive中实现数据抽样的三种方法（数据块抽样、分桶抽样、随机抽样）使用与区别详解
weixin_43230682的博客
07-15 5723
前言 当数据量特别大时，对全体数据进行处理存在困难时，抽样就显得尤其重要了。抽样可以从被抽取的数据中估计和推断出整体的特性，是科学实验、质量检验、社会调查普遍采用的一种经济有效的工作和研究方法。 Hive提供了数据取样（SAMPLING）的功能，能够根据一定的规则进行数据抽样，目前支持数据块抽样，分桶抽样和随机抽样，下面结合具体例子分别学习。 准备工作 （1）新建测试用表：employInfo create table employInfo(deptID int,employID int,employNam
Hive 随机取样-抽样查询
流风雨情的博客
03-03 9151
背景 在大规模数据量的数据分析及建模任务中，往往针对全量数据进行挖掘分析时会十分耗时和占用集群资源，因此一般情况下只需要抽取一小部分数据进行分析及建模操作 Hive提供了数据取样（SAMPLING）的功能，能够根据一定的规则进行数据抽样，目前支持数据块抽样，分桶抽样和随机抽样，具体如下所示： 随机抽样（rand()函数） 使用rand()函数进行随机抽样，limit关键字限制抽样返回的数据，...
Hive操作（集合操作，删除表操作）
aiduo3346的博客
09-04 384
（一）集合数据类型 数据类型 描述 语法示例 STRUCT 和c语言中的struct类似，都可以通过“点”符号访问元素内容。例如，如果某个列的数据类型是STRUCT{firstSTRING,lastSTRING},那么第1个元素可以通过字段.first来引用。 struct() MAP ...
Hive抽样查询
BabyFish13
01-31 2612
当数据量特别大时，对全体数据进行处理存在困难时，抽样就显得尤其重要了。抽样可以从被抽取的数据中估计和推断出整体的特性，是科学实验、质量检验、社会调查普遍采用的一种经济有效的工作和研究方法。 在Hive中提供了数据取样（SAMPLING）的功能，用来从Hive表中根据一定的规则进行数据取样，Hive中可以使用三种方式获得采样数据：random sampling，bucket sampling，bl
hive 抽样查询
DaDiNiWangGe的博客
05-28 364
记录一个遇到的hive基于行数的抽样查询。 行数被用在每个split中。因此总的行数根据输入的split数而变化很大。语法格式为： block_sample: TABLESAMPLE (n ROWS) 例如下面的查询将从每个split中抽取10行： SELECT * FROM source TABLESAMPLE(10 ROWS); ...
Hive-2.HiveQL查询中抽样查询
艾文
01-27 5327
当数据集非常大的时候，我们需要找一个子集来加快数据分析。此时我们需要数据采集工具以获得需要的子集。在此可以使用三种方式获得采样数据：random sampling， bucket sampling， block sampling。 8.1随机抽样（Random sampling ）  使用RAND()函数和LIMIT关键字来获取样例数据，使用DISTRIBUTE和SORT关键字来保证数据是随机
Hive 之 查询 04-分桶及抽样查询
恋梦轩
04-02 684
记录了Hive查询中的 分桶及抽样查询 相关知识。
Hive _分桶及抽样查询
乔治大哥的博客
11-04 847
分桶及抽样查询 1、分桶表数据存储 分区针对的是数据的存储路径；分桶针对的是数据文件。 分区提供一个隔离数据和优化查询的便利方式。不过，并非所有的数据集都可形成合理的分区，特别是之前所提到过的要确定合适的划分大小这个疑虑。 分桶是将数据集分解成更容易管理的若干部分的另一个技术。 hive (default)> show databases; OK database_name de...
使用Hive随机抽样
yangwenlei222的博客
07-19 2万+
rand() 函数  生成一个0-1之间的随机数，可设定随机种子。 利用这个函数在hive 中进行随机抽样。 test1  简单随机抽样 SELECT t.varx,t.a FROM( SELECT varx,rand() a FROM tablename)t WHERE t.a BETWEEN 0 AND 0.2 这样就抽取了五分之一的数据。 --或者像这...
[Hive]Hive实现抽样查询
热门推荐
TOMACAT的博客
08-16 2万+
对于非常大的数据集，有时用户需要使用的知识一个具有代表性的查询结果，而不是全部结果。Hive可以通过对表进行分桶抽样来满足这个需求。 1、分桶抽样查询 select * from numbers TABLESAMPLE(BUCKET 3 OUT OF 10 ON number) s; 其中tablesample是抽样语句，语法：TABLESAMPLE(BUCKET x OUT OF y)...
Hive3：数据随机抽样查询
Brave_heart4pzj的博客
08-16 950
Hive
Hive中分桶及抽样查询
while false
09-08 684
1.分桶 分桶表数据存储           分区针对的是数据的存储路径;分桶针对的是数据文件          分区提供一个隔离数据和优化查询的便利方式。不过,并非所有的数据集都可形成合理的分区,特别是之前所提到过的要确定合适的划分大小这个疑虑。          分桶是将数据集分解成更容易管理的若干部分的另一个技术 数据准备 student.txt 1001 ss1 1002 ss...
Hive抽样函数
weixin_45264992的博客
10-26 1217
Hive抽样函数 概述: 当数据量过大时，我们需要查找数据子集以加快数据处理速度分析。这就是抽样，采样，一种用于识别和分析数据中的子集的技术，以发现整个数据集中的模式和趋势。 在HQL中，有三种方式采样数据：随机采样，存储桶表采样，块采样 1、Random随机抽样 随机抽样采用rand()函数来确保随机获得数据，LIMIT来限制抽取的数据个数。 优点：随机 缺点：速度慢 2、基于数据块抽样： Block块采样允许随机获取n行数据，百分比数据或指定大小的数据。 采样粒度是HDFS块大小 优点是速度快，缺
大数据从入门到精通(超详细版)之Hive的抽样查询与虚拟列，你没见过的Hive玩法！
tyuiop321的博客
09-13 499
Hive的虚拟列（Virtual Columns）是一种特殊类型的列，它们不是存储在表中的实际列，而是根据表的其他列及其元数据计算得出的。虚拟列可以用于提供对表数据的额外元信息或在查询中进行运算和转换。：这是一个隐含的虚拟列，它代表当前处理的输入文件的名称。它可以在查询中使用，以了解数据来自哪个文件或文件路径。：这是另一个隐含的虚拟列，它表示当前行在其所在文件中的字节偏移量。它通常与INPUT__FILE__NAME一起使用，以获得更详细的位置信息。ROW__ID：这是虚拟列，它提供每一行的唯一标识符。
Hive的排序以及分桶抽样查询
张不帅
11-18 1134
排序 全局排序(Order by) :一个MapReduce 使用order by子句查询 ASC(ascend):升序(默认) DESC(descend):降序 Order by子句在Select语句结尾 查询员工信息按工资升序排列 select * from emp order by sal; 查询员工信息按工资降序排列 select * from emp order by sal ...
HIVE数据抽样
半吊子Kyle的博客
05-18 2073
hive中分桶其实就是根据某一个字段Hash取模，放入指定数据的桶中，比如将表table按照ID分成100个桶，其算法是hash(id) % 100，这样，hash(id) % 100 = 0的数据被放到第一个桶中，hash(id) % 100 = 1的记录被放到第二个桶中。sort by 提供了单个 reducer 内的排序功能，但不保证整体有序，这个时候其实不能做到真正的随机的，因为此时的随机是针对分区去的，所以如果我们可以通过控制进入每个分区的数据也是随机的话，那我们就可以做到随机了。
Hive分桶表学习总结
主要分享大数据相关的知识，如Spark、Hudi
12-12 1927
前言 学习总结一下Hive的分桶表。 分桶规则：对分桶字段值进行哈希，哈希值除以桶的个数求余，余数决定了该条记录在哪个桶中，也就是余数相同的在一个桶中。 优点：1、提高join查询效率 2、提高抽样效率 1、建表 通过 clustered by(字段名) into bucket_num buckets 分桶，意思是根据字段名分成bucket_num个桶 create table test_...
【Hive---13】抽样函数『 』
渐渐的忘记，赶不上明天（读研ing，2024年毕业）
12-18 543
抽样函数
hive随机抽样
最新发布
08-09
在 Hive 中，随机抽样是一种常用的数据处理技术，用于生成数据的子集，以便进行测试、分析或调试。Hive 提供了多种方法来实现随机抽样，以下是几种常见的方法： 1. **使用 TABLESAMPLE 子句**：这是 Hive 中最直接的随机抽样方法之一。通过 TABLESAMPLE 子句，可以根据数据块（Block）的比例或行数来进行抽样。例如，可以使用如下语句来抽取大约 10% 的数据： ```sql SELECT * FROM table_name TABLESAMPLE (10 PERCENT) AS sample_table; ``` 此外，还可以指定具体的行数来抽样： ```sql SELECT * FROM table_name TABLESAMPLE (1000 ROWS) AS sample_table; ``` 这种方法的优点是简单易用，但其随机性依赖于 Hive 的内部机制，可能无法保证完全的随机性[^1]。 2. **使用 RAND() 函数结合 ORDER BY 和 LIMIT**：这种方法通过为每一行生成一个随机数，然后对这些随机数进行排序并取前 N 行来实现随机抽样。具体实现如下： ```sql SELECT * FROM ( SELECT *, RAND() AS random_column FROM table_name ) t ORDER BY random_column LIMIT 1000; ``` 这种方法的优点是可以更好地控制随机性，并且适用于较小的数据集。然而，对于非常大的数据集，这种方法可能会导致性能问题，因为需要为每一行生成一个随机数并进行排序[^4]。 3. **分桶抽样（Bucket Sampling）**：如果表已经按照某个字段进行了分桶（Bucketing），可以利用分桶特性来进行抽样。例如，可以使用如下语句来从每个桶中抽取一定比例的数据： ```sql SELECT * FROM table_name WHERE bucket_column % 10 = 0; ``` 这种方法适用于已经分桶的表，可以高效地进行抽样，但需要预先对数据进行分桶处理[^3]。 4. **结合随机数和分层抽样**：对于需要分层抽样的场景，可以在每个层次内使用随机抽样。例如，假设有一个字段 `category` 表示不同的层次，可以通过如下方式实现： ```sql SELECT * FROM ( SELECT *, NTILE(10) OVER (PARTITION BY category ORDER BY RAND()) AS ntile FROM table_name ) t WHERE ntile = 1; ``` 这种方法可以确保每个层次内的数据都被均匀地抽样，适用于需要分层分析的场景[^2]。 5. **使用数据块抽样**：Hive 还支持基于数据块的抽样，可以通过指定数据块的比例来进行抽样。例如： ```sql SELECT * FROM table_name TABLESAMPLE (10 PERCENT) AS sample_table; ``` 这种方法适用于需要快速抽样的场景，但其抽样结果可能不如其他方法精确[^3]。 ### 总结 Hive 提供了多种随机抽样的方法，每种方法都有其适用的场景。对于简单的随机抽样，可以使用 TABLESAMPLE 子句；对于需要更精确控制的场景，可以结合 RAND() 函数和 LIMIT；对于已经分桶的表，可以使用分桶抽样；对于需要分层抽样的场景，可以结合窗口函数和随机数；而对于需要快速抽样的场景，可以使用数据块抽样。选择合适的方法取决于具体的需求和数据特征[^2]。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值