大数据学习笔记42：Hive - 分桶表

已于 2025-10-08 15:59:21 修改
阅读量766 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 探索大数据-从Hadoop到Flink 文章标签： Hive 分桶表
于 2020-02-09 08:20:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/howard2005/article/details/104231196
本文详细介绍了Hive的分桶表概念，包括分桶操作、分桶原理和注意事项。通过一个实例展示了如何创建分桶表、数据导入、查看存储情况以及对分桶数据的读取和采样操作，深入理解Hive分桶机制。

文章目录

1. Hive分桶表

1.1 分桶操作

分桶操作是更细粒度的分配方式，一张表可以同时分区和分桶。

1.2 分桶原理

根据指定列计算hash值模余分桶数量，然后将数据分开存放。
Hive的分桶实际上就是Hadoop的分区，有几个桶，就用几个reduce任务来处理。

1.3 注意事项

需要注意：分桶表必须是内部表。因为只有在创建表时才能指定桶的数量，然后在往表里插入数据的时候，会按照指定的分区字段（列字段）做分桶。

2. Hive分桶表实战

2.1 创建数据文件courses.txt

java
java
java
java
hadoop
hadoop
hadoop
java
java
web
web
web
web
web
php
php
php
php
php
hadoop
hadoop
web
web
hadoop
hadoop
hadoop
asp
asp
asp
asp
uid
uid
uid
uid
uid

在这里插入图片描述

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据学习笔记34：Hive - 数据库与表操作
howard2005的专栏
02-01 947
文章目录一、准备工作1、启动Hadoop2、启动Hive二、数据库操作1、创建数据库2、查询数据库（1）显示全部数据库（2）查询满足条件的数据库3、修改数据库信息（1）给数据库添加注释信息（2）给数据库添加键值对信息4、查看数据库信息5、使用数据库6、删除数据库三、数据表操作 一、准备工作 1、启动Hadoop 2、启动Hive [root@tiger ~]# hive 二、数据库操作 H...
大数据学习笔记43：Hive - JDBC编程
howard2005的专栏
02-09 735
文章目录一、Hive JDBC概述二、Hive JDBC案例1、修改hadoop核心配置文件core-site.xml2、修改hive配置文件hive-site.xml3、启动hadoop服务4、在服务器端开启HiveServer服务5、创建student表，插入几条记录6、创建Maven项目HiveJDBCDemo7、在pom.xml文件里添加依赖8、创建日志属性文件log4j.proptert...
大数据-Hive分桶表
逍遥云恋
12-24 841
1. Hive 表操作 1.5. 分桶表 将数据按照指定的字段进行分成多个桶中去，说白了就是将数据按照字段进行划分，可以将数据按照字段划分到多个文 件当中去 开启 Hive 的分桶功能 set hive.enforce.bucketing=true; 设置 Reduce 个数 set mapreduce.job.reduces=3; 创建桶表 create table course (c_id...
大数据学习笔记36：Hive - 分区表
howard2005的专栏
02-03 752
文章目录一、分区表概述二、分区表实战1、创建按国别分区的book表2、在本地/root目录里创建数据文件（1）创建数据文件cn_book.txt（2）创建数据文件en_book.txt3、按分区加载数据（1）加载cn_book.txt到“cn”分区（2）加载en_book.txt到“en”分区4、查看分区表book全部记录5、通过HDFS Explorer查看分区表book对应的目录及文件6、手动...
大数据学习笔记35：Hive - 内部表与外部表
howard2005的专栏
02-03 803
文章目录一、内部表1、什么是内部表2、创建与操作内部表任务1、创建park数据库 一、内部表 1、什么是内部表 在hive里用“create table命令”创建一张表，然后向这个表插入数据（通过insert命令插入数据，也可以通过加载外部文件的方式来插入数据），这样的表叫做内部表。 2、创建与操作内部表 任务1、创建park数据库 hive> create database park; ...
大数据学习笔记37：Hive - 复杂数据类型
howard2005的专栏
02-04 779
文章目录一、复杂数据类型二、复杂数据类型实战（一）数组类型（array）（二）映射类型（map）（三）结构类型（struct） 一、复杂数据类型 二、复杂数据类型实战 （一）数组类型（array） （二）映射类型（map） （三）结构类型（struct） ...
大数据学习笔记32：Hive - 下载、安装与配置
howard2005的专栏
01-29 990
文章目录一、初步了解Hive1、Hadoop开发存在的问题2、OLTP系统与OLAP系统（1）OLTP - 在线联机事务处理系统（2）OLAP - 在线联机分析处理系统3、Hive概述（1）Hive的SQL - HQL（2）数据库与数据仓库的区别（3）Hive适用场景二、下载、安装和配置MySQL1、下载mysql-5.7.12-1.el6.x86_64.rpm-bundle.tar2、将MySQ...
大数据学习笔记38：Hive - 内置函数（1）
howard2005的专栏
02-04 790
文章目录一、运算（一）数学运算（二）关系运算（三）逻辑运算二、内置函数（一）数学函数（二）日期函数（三）条件函数（四）字符串函数（五）集合统计函数（六）复合类型构建函数（七）复合类型访问函数（八）复合类型长度统计函数（九）collect_set函数（十）explode函数 一、运算 （一）数学运算 （二）关系运算 （三）逻辑运算 二、内置函数 Hive实现了标准的SQL，除此之外，为提升hive处...
大数据学习笔记39：Hive - 内置函数（2）
howard2005的专栏
02-05 686
文章目录一、collect_set函数（一）案例1：单列数据去重1、创建数据文件nums.txt2、将文件上传到HDFS的/cset目录3、基于/cset目录创建hive外部表nums4、查询nums表全部记录5、调用collect_set函数，查询nums表中不同数字（二）案例2：分组数据去重二、explode函数 一、collect_set函数 collect_set 函数用于数据去重，并将结...
解决宿主机Ping不通虚拟机的问题
热门推荐
howard2005的专栏
07-30 7万+
在使用虚拟机的过程中，我们常常会遇到宿主机和虚拟机之间无法相互通信的问题。具体来说，我们要查看虚拟机和宿主机的 IP 地址，然后尝试进行 Ping 测试。在某些情况下，我们可能发现 Ping 虚拟机不通，接下来我将分享如何解决这个问题。
在Eclipse里搭建Scala开发环境
howard2005的专栏
04-10 9935
在Eclipse里搭建Scala开发环境Scala：一种类似Java的编程语言，综合了面向对象编程(Object-Oriented Programming)和函数式编程(Functional  Programming)的特性，有利于开发多核并发模型以及云计算(Parallelism  for  Mulicore  and  Cloud  Computing)项目。参考书目：Programming ...
Spark案例：Scala版统计单词个数
howard2005的专栏
12-14 9068
Spark案例：Scala版统计单词个数 利用Spark的RDD可以对本机或集群上的文件进行词频统计。 1、创建Scala项目SparkScalaWordCount 2、创建lib目录，添加spark的jar，并添加作为项目的库 3、在项目根目录创建test.txt文件 4、创建WordCount对象 package net.hw.spa...
如何让CentOS8虚拟机与主机相互Ping通
howard2005的专栏
11-13 7806
如何让CentOS8虚拟机与主机相互Ping通 在VMWare上安装了CentOS8，打开终端，发布nmcli命令： 当前连接的是virbr0，ipv4地址是192.168.122.1，而网卡ens33没有连接的。 打开主机的命令行窗口，发布命令ping 192.168.122.1： 请求超时，主机Ping不通虚拟机。 发布ipconfig命令，查看主机ipv4地址： 主机...
初试Octave软件
howard2005的专栏
12-16 7521
Octave是一款十分有用的数值计算软件。一、Octave基础1、使用Octave的内建函数>> exp(1)ans = 2.7183说明：exp函数表示底数为e的指数函数。>> x = 1.2*sin(40*pi/180+log(2.4^2))x = 0.76618说明：pi代表圆周率。>> log(e)ans = 1>> log10(100...
利用Octave解线性方程组
howard2005的专栏
02-17 6326
利用Octave解线性方程组 在初中，求解线性方程组的方法是消元法（代入消元或加减消元）。 比如，下面这个二元一次方程组，就是采用加减消元法来求解的。 消元法固然简单，容易理解，但是对于n元线性方程组，n值比较大时，这个方法就不好使了，对于这种情况，我们有没有更好的处理方法呢？答案是肯定的。 在线性代数里，对于线性方程组，采用矩阵和向量的计算方式。 首先利用向量和矩阵表示上述二元一次...
在Linux上安装JDK9
howard2005的专栏
02-22 5841
1、下载JDK9 http://www.oracle.com/technetwork/java/javase/downloads/jdk9-downloads-3848520.html 2、上传到虚拟机 3、安装JDK9 [root@park01 software]# rpm -ivh jdk-9.0.4_linux-x64_bin.rpm 4、配置环境变...
如何才能CentOS终端输入中文
howard2005的专栏
08-22 5282
如何才能CentOS终端输入中文 1、打开终端界面，使用su - root切换到超级用户，然后输入yum install -y "@Chinese support"，回车。 2、然后点击桌面左上角的System->Perference，在里面可以看到一个Input Method，点击进去。 3、选中Enable前面的方框，点击Input Method。 4、在打开的窗...
Scala案例：词频统计
howard2005的专栏
02-17 5102
一、提出任务 统计文本文件里单词出现次数。 二、完成任务 1、创建Scala项目 - ScalaWordCount 创建net.hw.wc包： 2、在项目根目录添加文本文件test.txt 3、在net.hw.wc包里创建scala源程序WordCount 4、运行程序，查看结果 ...
Zebra项目：分析、实施与测试
howard2005的专栏
01-13 5043
目录 第一部分 Zebra项目概述 一、Zebra项目介绍 二、日志数据结构分析 三、数据以| 分割后，每个数据项的含义 四、Zebra项目整体架构 （一）技术架构 （二）工程架构 五、Zebra业务说明 1、数据项含义 2、应用大类说明 3、应用小类说明 4、业务字段处理逻辑 5、zebra业务说明 六、Zebra项目设计思想 1、单机思想 2、四个进程职责 3...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值