【Hive总结】5 分区表

hive表操作 Hive表的实质是(将超大表的数据按指定标准细分到指定目录),且分区的字段不属于Hive表中存在的字段;的实质是(将超大文件的数据按指定标准细分到分桶文件),且分桶的字段必须在Hive表中存在。需要Hive表分桶的时候,我们可以观察到Reduce的任务数量 = 分桶的数量,也就是最终产生的分桶文件的个数,因为分桶表就是通过MapReduce任务计算而来。由此可见,其实桶的概念就是MapReduce的分区的概念,两者完全相同。 阅读详情

一、简介

  • 分区表一般在数据量比较大,且有明确的分区字段时使用,这样用分区字段作为查询条件查询效率会比较高。
  • Hive分区分为静态分区和动态分区

 

二、具体实现

 

1. 建表语句

create table test_partition (
id string, 
name string
)
partitioned by (year int)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' ;

2. 插入语句

静态分区和动态分区的插入数据的语句是不一样的,所以分开

 

2.1 静态分区

静态分区是在语句中指定分区字段为某个固定值,多次重复插入数据是为了看看数据如何在hdfs上存储的。

2.1.1 insert into

insert into table test_partition partition(year=2018) values ('001','张三');
insert into table test_partition partition(year=2018) values ('001','张三');
insert into table test_partition partition(year=2018) values ('002','李四');

2.1.2 load data

data.txt

002,李四
003,王五
load data local inpath '/root/dkl/data/data.txt' into table test_partition partition (year =2018);
load data local inpath '/root/dkl/data/data.txt' into table test_partition partition (year =2018);
load data local inpath '/root/dkl/data/data.txt' into table test_partition partition (year =2017);

2.1.3 查询结果

2.1.4 HDFS存储方式

按照year分区,每个year就是一个文件夹

分区2018的路径为

/apps/hive/warehouse/dkl.db/test_partition/year=2018
  • /apps/hive/warehouse 为hive的仓库路径
  • dkl.db dkl为数据库名称
  • test_partition为表名
  • year为分区字段名

 

2.2 动态分区

2.2.1 insert into

insert into table test_partition partition(year) values ('001','张三',2016); 

动态分区默认不开启,执行上面的语句会报错:

开启

set hive.exec.dynamic.partition.mode=nonstrict;

然后再执行就可以了

【注意】上面的命令是临时生效,退出hive重新进hive需要重新执行上面的命令,才能动态分区

2.2.2 load data

不能使用load data进行动态分区插入

hive> load data local inpath '/root/dkl/data/data.txt' into table test_partition partition (year);
FAILED: NullPointerException null

可以使用另一种方法解决

(1)首先创建没有分区的表

create table test (
id string, 
name string,
year int
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' ;

(2)先将数据load进test表

load data local inpath '/root/dkl/data/data.txt' into table test;

(3)然后从表test,动态分区插入test_partition中

insert into table test_partition partition(year)  select * from test;

如果后面select具体字段的话,需要保证顺序一致,把分区字段放在最后。

insert into table test_partition partition(year)  select id,name,year from test;


3. 查看分区信息

hive> show  partitions test_partition;
OK
year=2017
year=2018
Time taken: 0.719 seconds, Fetched: 2 row(s)

4. 添加新分区

alter table test_partition add  partition (year=2012);

这样就会新建对应的hdfs路径下一个year=2012的文件夹

当然也可以指定localtion,这样就不会在默认的路径下建立文件夹了

alter table test_partition add  partition (year=2010) location '/tmp/dkl';

这样如果/tmp/dkl文件夹不存在的话就会新建文件夹,如果存在就会把该文件夹下的所有的文件加载到Hive表

5. 多个分区字段

5.1 建表

create table test_partition2 (
id string, 
name string
)
partitioned by (year int,month int)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' ;

5.2 HDFS存储格式

看一下多个分区的的表如何在HDFS上存储的,用静态分区的形式插入一条记录:

insert into table test_partition2 partition(year=2018,month=12) values ('001','张三');
/apps/hive/warehouse/dkl.db/test_partition2/year=2018/month=12

6. 删除分区

只能删除某个分区,如删除分区2018,而不能删除整个分区year字段。

6.1 单分区表

alter table test_partition drop partition(year=2018);

6.2 多分区表

6.2.1 删除year=2018,month=12

alter table test_partition2 drop partition(year=2018,month=12);

6.2.2 删除year=2018

alter table test_partition2 drop partition(year=2018);

6.2.3 删除month=10

alter table test_partition2 drop partition(month=10);

所有月份等于10的分区都会删除,无论year=2018,还是year=2017...

 

【hive】- 使用insert into/insert overwrite插入数据到静态分区、动态分区、动静态分区 使用insert into/insert overwrite插入数据到静态分区、动态分区、动静态分区 阅读详情

相关推荐

datastage配置jdbc_Datastage 11.5新功能介绍----Hive Connector

QuestionDatastage是否有专门的组件支持Hive呢?Answer在最新的IBM Information Server 11.5.0.1中,新增了一些组件和功能,其中比较重要的就是Hive Connector。在之前的版本中,Datastage产品对Hive的支持主要通过ODBC connector或者JDBC connector来实现,使用ODBC / JDBC connector连...

weixin_39642761的博客 878

hive使用动态分区插入数据详解

    往hive分区表中插入数据时,如果需要创建的分区很多,比如以表中某个字段进行分区存储,则需要复制粘贴修改很多sql去执行,效率低。因为hive是批处理系统,所以hive提供了一个动态分区功能,其可以基于查询参数的位置去推断分区的名称,从而建立分区。   1.创建一个单一字段分区表hive> create table dpartition(id int ,name string ...

涤生大数据 11万+

hive-1.1.0-cdh5.16.2版本mysql元数据表详解

文章目录0.新建一个分区表:涉及到哪几张表0.1 在ods库创建分区表0.2 元数据dbs表中有库ods库0.3 元数据tbls表中有表my_table (TBL_ID=481) (SD_ID=606 序列化配置信息对应SDS表中的SD_ID)0.4 分区相关元数据0.4.1 [ partition_key_vals ] 分区V 分区字段的值 (PART_ID=226 、227)0.4.2 [ partition_keys ] 分区K 字段及类型(TBL_ID=481)0.4.3 [ partition_p

lihuazaizheli的博客 562

ClickHouse入门:表引擎-MergeTree(一)创建方式

前言 插件及服务器版本 服务器:ubuntu 16.04 ClickHouse:20.9.3.45 文章目录简介创建方式 简介 这篇文件简单学习下ClickHouse基础的合并树(MergeTree)表引擎的创建方式,关于合并树基础上的如Replacing、Summing、Aggregating引擎,本文暂时不会涉及。MergeTree作为最基础的引擎,提供了主键索引、数据分区、数据副本等基本能力 创建方式 create table db_name.table_nmae( ... )ENGINE Mer.

高矮 4017

【硬刚Hive】Hive基础(18):Hive语法(5) DDL(2) 分区表和分桶表

欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客 欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载! 本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。 1 分区表 分区表实际上就是对应一个 HDFS 文件系统上的独立的文件夹,该文件夹下是该分区所有的数据文件。Hive 中的分区.

微信搜:import_bigdata,大数据领域硬核原创作者 493

形位公差标注的常见误区与优化策略

本文深入解析机械设计中形位公差标注的常见误区与优化策略,特别针对NX2406用户提供实用技巧。从标注冗余、基准选择到公差值设定等五大误区入手,结合工程图实例展示如何提升标注精度与效率,帮助工程师避免常见错误,优化设计流程,确保零件功能实现与制造可行性。

info6的博客 246

hive分区表

hive分区表假设有海量的数据保存在hdfs的某一个hive表明对应的目录下,使用hive进行操作的时候,往往会搜索这个目录下的所有文件,这有时会非常的耗时,如果我们知道 这些数据的某些特征,可以事先对他们进行分裂,再把数据load到hdfs上的时候,他们就会被放到不同的目录下,然后使用hive进行操作的时候,就可以在where子句中对这些特征进行过滤。

yanzhelee 3063

tinkerCAD入门操作(2):移动、旋转和缩放对象

现在您已经学会了如何在工作平面上旋转,是时候真正开始处理对象了。在本课中,您将了解有关对象物理属性的更多信息。

acktomas的博客 4978

Hive(5)分区表

分区表:将数据按照查询的维度分文件夹管理 没有分区表 create table tb_order2( oid int , dt string , cost double ) row format delimited fields terminated by “,” ; load data local inpath “/hive/data/06-18.txt” into table tb_order2 ; load data local inpath “/hive/data/06-19.txt” into

刚哥的大数据之路 122

Arch Linux双系统安装避坑指南:从Windows分区到桌面环境全流程

本文提供了一份详尽的Arch Linux与Windows双系统安装避坑指南。内容涵盖从安装前的UEFI环境确认、BitLocker处理、分区规划,到Live环境进入、基础系统安装、GRUB引导配置,再到显卡驱动安装、KDE/GNOME桌面环境部署及中文化设置的全流程。重点解决了双系统安装中的核心痛点,帮助用户在不破坏现有Windows系统的前提下,顺利完成Arch Linux的安装。

nice1的博客 536

ColorOS13系统账户锁与密码锁破解全指南:从恢复模式到激活绕过

本文针对ColorOS13系统用户,详细解析了忘记锁屏密码(数字/图案锁)和遭遇OPPO账户锁(激活锁)的合法解决方案。核心是通过官方恢复模式进行格式化操作清除锁屏密码,并强调账户锁需通过密码找回或官方售后等正规途径解除。文章旨在帮助设备合法所有者恢复使用权,并提供了安全操作指南与数据备份建议。

weixin_28304023的博客 969

hive 分区表select全部数据_06716.2.0如何将CDH5.12的Hive元数据迁移到CDH6.2

作者:余枫1文档编写目的这里我们假定一个场景,你需要迁移CDH5.12到CDH6.2,CDH5.12和CDH6.2分别是两个不同的集群,我们的工作主要是HDFS数据和各种元数据从CDH5.12迁移到CDH6.2,本文不讨论HDFS数据的迁移也不讨论其他元数据的迁移比如CM或Sentry,而只关注Hive元数据的迁移。这里的问题主要是CDH5.12的Hive为1.1,而CDH6.2中Hiv...

weixin_39759890的博客 197

本地大模型部署实战:LM Studio与Ollama的易用性与性能深度评测

本文对两款主流本地大模型部署工具LM Studio和Ollama进行了深度评测。LM Studio凭借图形化界面和内置模型库,为新手提供了开箱即用的便捷体验,并支持OpenAI兼容API,易于生态集成。Ollama则以命令行驱动,轻量高效,凭借其原生API和Modelfile自定义能力,在自动化集成和性能方面表现突出。文章从易用性、模型生态、性能及扩展性多维度对比,帮助用户根据自身技术背景和使用场景做出最佳选择。

weixin_29039773的博客 531

Hive学习---5、分区表和分桶表

Hive学习---5、分区表和分桶表

星光不问赶路人,岁月不负有心人 497

sysbench测试系统内存

系统内存读写测试方法,报告解读

m0_61066945的博客 3019

农业AI避坑指南:用YOLO11做叶片病害检测时遇到的5个典型问题

本文分享了使用YOLO11模型进行农业叶片病害检测时常见的五个典型问题及解决方案。针对田间多变光照、病害样本不均衡、标注歧义、背景干扰和边缘部署等挑战,提供了包括场景自适应数据增强、解耦训练、软标签与鲁棒损失函数、困难负样本构建以及模型轻量化部署在内的实战经验,旨在帮助开发者提升农业AI项目的落地效果。

ujm56789012的博客 206

Hive入门系列(5)-分区表+分桶表

分区表 数据库分区是一种物理数据库设计技术,DBA和数据库建模人员对其相当熟悉。虽然分区技术可以实现很多效果,但其主要目的是为了在特定的SQL操作中减少数据读写的总量以缩减响应时间。 hive中的分区表实际上就是对应一个 HDFS 文件系统上的独立的文件夹,该文件夹下是该分区所有的数据文件。Hive 中的分区就是分目录,把一个大的数据集根据业务需要分割成小的数据集。在查询时通过 WHERE 子句中的表达式选择查询所需要的指定的分区,这样的查询效率会提高很多。 基本操作 准备数据 # 准备三个数据文件,模

记录知识、锤炼自我 597

常用的集成TTL门电路

本篇主要分析了常用的逻辑门电路与非门,详细分析了电源原理。值得收藏。

ManagerUser的博客 5093

hive对分区表全量count(1)出现错误ArrayIndexOutOfBoundsException

hive查询orc格式分区表全量count(1)出现如下报错: 原因及解决方法如下: 这个表中途修改过字段信息,造成旧分区的信息和新分区的信息不一致。 CDH5 中 hive1.1 版本,当修改表格的元数据信息后,使用ORC格式的文件与Hive的矢量化特性不兼容 ,需要先设置矢量化为false set hive.vectorized.execution.enabled=false; set hive.vectorized.execution.reduce.enabled=false; ...

qq_30868737的博客 1139

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

hive 分区表全量count(1)出现错误,单独查分区没问题

hive 分区表全量count(1)出现错误,单独查分区没问题 CDH5 中 hive1.1 版本,当修改表格的元数据信息后,使用ORC格式的文件与Hive的矢量化特性不兼容 ,需要先设置矢量化为false set hive.vectorized.execution.enabled=false; set hive.vectorized.execution.reduce.enabled=false; ...

a312428841的博客 905

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

hive-sql语句-小小结

对hive查询语句的一些小总结

ZH519080的博客 727

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

MySQL和hive对比表结构脚本

1 #!/bin/bash 2 3 source /etc/profile 4 5 runlog='/tmp/zewei/check_schema_log' 6 hive_database_schema=/tmp/hive_database_schema/hive/ 7 mysql_database_schema=/tmp/hive_database_s...

dichi6259的博客 477

java hiveconnector_Datastage 11.5新功能介绍----Hive Connector

QuestionDatastage是否有专门的组件支持Hive呢?Answer在最新的IBM Information Server 11.5.0.1中,新增了一些组件和功能,其中比较重要的就是Hive Connector。在之前的版本中,Datastage产品对Hive的支持主要通过ODBC connector或者JDBC connector来实现,使用ODBC / JDBC connector连...

weixin_29294597的博客 283

Spark-Hive清洗脚本踩坑记

坑报错/现象根因解法跑得慢5 分钟无数据写入广播禁用 + 全量算 3 遍 + Python UDF + 单任务写入 + 全年份扫描5 项优化(见坑一)数据被清其他月份分区消失整表覆盖,不生效显式appendAPI 不存在CDH PySpark 版本 Catalog API 缺失try/except 消化 ALTER 异常格式不匹配Hive DDL 建的表与provider 校验冲突,删.format()也没用改用insertInto,分区列排最后UDF 报错UDF 签名是。

weixin_46178710的博客 200

shell 执行代码 进入hive_hive-shell批量命令执行脚本的实现方法

如下所示:#!/usr/bin/bashHADOOP_HOME="/opt/module/cdh-5.3.6-ha/hadoop-2.5.0-cdh5.3.6"HIVE_HOME='/opt/module/cdh-5.3.6-ha/hive-0.13.1-cdh5.3.6'####### execute hive ######sql=$(cat <use db_01;drop table d...

weixin_28839601的博客 358

shell 实现对Hive表字段脱敏写入新表

数据安全管理,本shell 实现对hive源表敏感字段进行md5加密,然后写入新表;备注:仅供参考,可对本shell代码,做进一步修改调整,满足自己的需求。

weixin_46028840的博客 657
上一篇: 【Hive总结】4. Hive的外部表与内部表
下一篇: 【Springboot总结】1. HelloWorld入门程序--入门
Rita楠神
博客等级 码龄9年 27粉丝 61原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值