Hive学习之抽样（Sampling）

最新推荐文章于 2025-03-31 00:33:57 发布
最新推荐文章于 2025-03-31 00:33:57 发布
阅读量2.7w 收藏
点赞数 3
CC 4.0 BY-SA版权
分类专栏： Hive 勤奋的Hive 文章标签： Hive 抽样 Sampling BUCKET
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/skywalker_only/article/details/39370511
勤奋的Hive 同时被 2 个专栏收录
33 篇文章 ¥9.90 ¥99.00
订阅专栏
Hive
32 篇文章 ¥9.90 ¥99.00
订阅专栏
在大数据处理中，Hive的抽样技术是关键，包括Bucket Sampling和Block Sampling。Bucket Sampling适用于桶表，通过指定列进行高效抽样；Block Sampling则基于HDFS块进行数据采样，粒度固定。这两种方法提供了灵活的数据预览和分析手段。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

      当数据量特别大时，对全体数据进行处理存在困难时，抽样就显得尤其重要了。抽样可以从被抽取的数据中估计和推断出整体的特性，是科学实验、质量检验、社会调查普遍采用的一种经济有效的工作和研究方法。

      Hive支持桶表抽样和块抽样，下面分别学习。所谓桶表指的是在创建表时使用CLUSTERED BY子句创建了桶的表。桶表抽样的语法如下：

table_sample: TABLESAMPLE (BUCKET x OUT OF y [ON colname])

      TABLESAMPLE子句允许用户编写用于数据抽样而不是整个表的查询，该子句出现FROM子句中，可用于任何表中。桶编号从1开始，colname表明抽取样本的列，可以是非分区列中的任意一列，或者使用rand()表明在整个行中抽取样本而不是单个列。在colname上分桶的行随机进入1到y个桶中，返回属于桶x的行。下面的例子中，返回32个桶中的第3个桶中的行：

SELECT *
FROM source TABLESAMPLE(BUCKET 3 OUT OF 32 ON
了解本专栏 订阅专栏 解锁全文
【PostgreSQL数据分析实战：从数据清洗到可视化全流程】5.4 数据抽样（简单随机抽样/分层抽样）
kngines
05-05 1437
【PostgreSQL数据分析实战：从数据清洗到可视化全流程】5.4 数据抽样（简单随机抽样/分层抽样）
一文说透hive中的分桶及抽样查询
石榴姐yyds
03-29 1864
本文围绕hive中分桶问题进行展开研究，分析了hive分桶与分区的区别，分桶的相关原理、分桶的优势，并对分桶的操作方法进行详细论述，给出了具体的操作步骤及案例，本文所有的操作案例均在机器上得到验证，读者可根据本文所提供的思路快速学习到hive分桶的相关知识。
【Hive】HiveQL实战之数据抽样Sample
个人公众号：Alen的数据库学习笔记
07-10 3715
当数据量很大时，需要查找一个数据的子集用于加快数据的分析，这种技术就是抽样技术。Hive中，数据抽样分为以下三种：随机抽样；桶表抽样；块抽样；1 随机抽样1）语法结构使用Rand（）和LIMIT关键字得到抽样数据，Distribute和Sort关键字确保数据在mappers和reducers之间高效的随机分布，也可以使用order by rand（）实现，但是性能不好。语法：SELECT * FR...
Hive进行数据抽样-Sampling
theodore的专栏
03-15 3045
原文链接：http://superlxw1234.iteye.com/blog/2233160?utm_source=tuicool&utm_medium=referral 关键字：Hive数据取样、Hive Sampling、Hive TABLESAMPLE. 在Hive中提供了数据取样（SAMPLING）的功能，用来从Hive表中根据一定的规则进行数据取样，Hive中的数据取样支持
直接从Hive 表中数据抽样-Sample
wangwangstone的博客
03-28 938
工作中会遇到需要对一个大型表中的数据进行取样分析的问题，并不需要去跑mapreduce来取样，hive表中本身就提供了取样的相关函数。本文是对遇到的hive表中抽样问题，进行一个记录。 随机分桶抽样： TABLESAMPLE (BUCKET 1 OUT OF 40 ON rand()) SELECT * FROM tabelName1 TABLESAMPLE (BUCKET 1 OUT OF 40 ON rand()) WHERE column1='20210220' and column2='pa
Hive Query Sample 查询样本抽样
youchuikai的博客
04-13 3069
hive抽样查询 分桶表抽样 数据块抽样
Hive｜Hive 随机抽样方法（TABLESAMPLE 方法、随机数方法）
长行
01-19 1687
获取的 20 行和不加该字句获得的前 20 行相同，怀疑可能就是抽取 HDFS 文件中从前往后获取到满足指定条件的行数。也可能是我的使用方法有问题，如有更优方法欢迎指出。最简单的随机抽样，就是将所有给所有记录添加一个随机数，然后排序筛选其中最小的目标条数即可。在 Hive 中，对于。但是，经过以上语句测试，这个语法似乎不是随机抽样，我发现使用。字句用于从 Hive 中抽取样本数据。是有优化的，不会出现全量排序导致数据倾斜的问题。中随机抽取 1000 条样本数据。
Hive实现数据抽样的常用三种方法
大数据ING的博客
11-15 9634
背景 在大规模数据量的数据分析及建模任务中，往往针对全量数据进行挖掘分析时会十分耗时和占用集群资源，因此一般情况下只需要抽取一小部分数据进行分析及建模操作。 Hive提供了数据取样（SAMPLING）的功能，能够根据一定的规则进行数据抽样，目前支持数据块抽样，分桶抽样和随机抽样，具体如下所示： 1、随机抽样（rand()函数） （1）使用rand()函数进行随机抽样，limit关键字限制抽样...
Hive中实现数据抽样的三种方法（数据块抽样、分桶抽样、随机抽样）使用与区别详解
weixin_43230682的博客
07-15 5718
前言 当数据量特别大时，对全体数据进行处理存在困难时，抽样就显得尤其重要了。抽样可以从被抽取的数据中估计和推断出整体的特性，是科学实验、质量检验、社会调查普遍采用的一种经济有效的工作和研究方法。 Hive提供了数据取样（SAMPLING）的功能，能够根据一定的规则进行数据抽样，目前支持数据块抽样，分桶抽样和随机抽样，下面结合具体例子分别学习。 准备工作 （1）新建测试用表：employInfo create table employInfo(deptID int,employID int,employNam
hive 随机抽样 实用，有助于快速分析数据分布情况和可能的数据倾斜
码基的博客
07-06 1157
Sampling Syntax 抽样语法 Sampling Bucketized Table 分桶表抽样 table_sample: TABLESAMPLE (BUCKET x OUT OF y [ON colname]) The TABLESAMPLE clause allows the users to write queries for samples of the data instead...
Hive Sampling 抽样函数
喻师傅的学习笔记
05-09 320
Hive抽样函数
Hive分桶抽样查询(tablesample)详解
weixin_44843098的博客
07-20 3278
名词解释： n：总桶数 x：从第几个桶开始抽取 y：必须是总桶数的因数或倍数（自定义） z：共需抽取出的桶数（z=n/y） 抽样查询代码示例： hive (default)> select * from student tablesample(bucket x out of y on id); 案例分析：总桶数为n=10个，人为设定抽样因子y=2，人为设定从第一个桶开始取则x=1；计算出z=n/y=10/2=5个，则可以确定本次抽样查询需要取出5个桶的数据； 代码实现如下： hi
Hive 数据抽样
邦涛的博客
12-08 2089
Hive 抽样语法 桶抽样 块抽样 随机抽样 分类随机抽样 快捷键 Markdown及扩展 表格 定义列表 代码块 脚注 目录 数学公式 UML 图 离线写博客 浏览器兼容Hive 抽样语法Hive使用TABLESAMPLE语法对表进行抽样桶抽样桶抽样语法：tablesample (bucket x out of y [on colname]) tablesample可以用在任何表上，不单
大数据开发之Hive优化篇4-Hive的数据抽样-Sampling
只是甲的博客
01-22 1161
备注: Hive 版本 2.1.1 文章目录抽样概述一.随机抽样二.桶表抽样三.数据块抽样参考 抽样概述 当数据量特别大时，对全体数据进行处理存在困难时，抽样就显得尤其重要了。抽样可以从被抽取的数据中估计和推断出整体的特性，是科学实验、质量检验、社会调查普遍采用的一种经济有效的工作和研究方法。 Hive中，数据抽样分为以下三种： 随机抽样 桶表抽样 块抽样 一.随机抽样 Hive有个随机函数rand(),我们可以通过rand()函数对表进行抽样，然后用limit子句进行限制抽样数据的返回。 其中rand
Hive学习之抽样（tablesample）
houzhizhen的专栏
01-10 1083
当数据量特别大时，对全体数据进行处理存在困难时，抽样就显得尤其重要了。抽样可以从被抽取的数据中估计和推断出整体的特性，是科学实验、质量检验、社会调查普遍采用的一种经济有效的工作和研究方法。 Hive支持桶表抽样和块抽样，下面分别学习。所谓桶表指的是在创建表时使用CLUSTERED BY子句创建了桶的表。桶表抽样的语法如下： table_sample: TABLESAMPLE (BUCKET x OUT OF y [ON colname]) TABLESAMPLE子句允许用户编写用于数据抽样而不是整个表
3分钟学会Hive中TABLESAMPLE函数用法，轻松搞定数仓中抽样方法。
石榴姐yyds
03-31 197
TABLESAMPLE函数的高效运用需要深入理解Hive的存储机制和业务需求特点。建议在实施过程中：优先使用块抽样进行快速探查关键业务表预先做好分桶设计对抽样结果进行统计验证结合EXPLAIN命令分析执行计划定期收集表统计信息（ANALYZE TABLE）通过灵活组合不同的抽样策略，可在保证数据代表性的同时，显著提升大数据处理效率。建议建立抽样策略矩阵，针对不同数据规模、业务场景选择最优方案。
Hive聚合函数及采样函数详解
热门推荐
yhao2014的专栏
06-03 2万+
本文主要使用实例对Hive内建的一些聚合函数、分析函数以及采样函数进行比较详细的讲解。
【Hive SQL】数据探查-数据抽样
qq_34446614的博客
07-26 1603
在大规模数据量的数据分析及建模任务中，往往针对全量数据进行挖掘分析时会十分耗时和占用集群资源，因此一般情况下只需要抽取一小部分数据进行分析及建模操作。下面罗列一些常用的数据抽样方法。
Hive基本查询操作（二）第3关：Hive抽样查询
最新发布
05-28
### Hive抽样查询的使用方法和示例 Hive 提供了多种抽样查询的方法，以支持在大规模数据集上进行高效的分析。以下是三种主要的抽样方式及其用法和示例。 #### 1. 随机抽样（Random Sampling） 随机抽样通过 `rand()` 函数实现，确保抽取的数据是随机的。可以通过 `LIMIT` 子句限制返回的行数。然而，这种方法需要对整个数据集进行排序，因此速度较慢。 **语法：** ```sql SELECT * FROM table_name ORDER BY rand() LIMIT n; ``` **示例：** 假设有一个名为 `employInfo` 的表，从中随机抽取 10 条记录。 ```sql CREATE TABLE sample_table_order AS SELECT * FROM employInfo ORDER BY rand() LIMIT 10; ``` 此方法的优点是结果完全随机，但缺点是性能较低[^2]。 #### 2. 基于数据块的抽样（Block Sampling） 基于数据块的抽样允许从 HDFS 数据块中随机抽取数据。它以 HDFS 块为单位进行采样，因此速度快，但结果可能不够随机。 **语法：** ```sql SELECT * FROM table_name TABLESAMPLE (n ROWS); ``` **示例：** 从表 `large_table` 中抽取 100 行数据。 ```sql SELECT * FROM large_table TABLESAMPLE (100 ROWS); ``` 此外，还可以按百分比或指定大小进行抽样： ```sql SELECT * FROM large_table TABLESAMPLE (10 PERCENT); ``` 此方法的优点是速度快，但缺点是采样结果可能不均匀[^3]。 #### 3. 基于分桶表的抽样（Bucket Sampling） 基于分桶表的抽样是最高效的方式之一。它利用分桶表的结构，直接从特定的桶中抽取数据。这种方式既保证了随机性，又提高了性能。 **语法：** ```sql SELECT * FROM table_name TABLESAMPLE (BUCKET x OUT OF y [ON colname]); ``` **示例：** 假设有一个分桶表 `bucket_user`，按 `id` 列分为 4 个桶。从中抽取第 1 个桶的数据。 ```sql SELECT * FROM bucket_user TABLESAMPLE (BUCKET 1 OUT OF 4 ON id); ``` 如果希望抽取所有桶中的随机数据，可以结合 `rand()` 函数： ```sql SELECT * FROM bucket_user TABLESAMPLE (BUCKET rand() * 4 OUT OF 4 ON id); ``` 此方法的优点是速度快且结果随机，但需要预先创建分桶表[^3]。 ### 示例代码 以下是一个完整的示例，展示如何创建分桶表并进行抽样查询。 ```sql -- 创建分桶表 CREATE TABLE bucket_user ( id INT, name STRING ) CLUSTERED BY (id) INTO 4 BUCKETS ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE; -- 插入数据 INSERT INTO bucket_user SELECT id, name FROM user_data; -- 基于分桶表的抽样查询 SELECT * FROM bucket_user TABLESAMPLE (BUCKET 1 OUT OF 4 ON id); ``` ### 注意事项 - 分桶表需要明确指定 `CLUSTERED BY` 和 `INTO` 子句，以定义分桶的列和桶的数量[^1]。 - 抽样查询的选择应根据具体需求权衡性能和随机性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

skyWalker_ONLY

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值