Hive篇--相关概念和使用二

Hive mapjoin相关参数 mapjoin相关参数 阅读详情

一.基本概念

Hive分桶:

1.概念

分桶表是对列值取哈希值的方式,将不同数据放到不同文件中存储。
对于hive中每一个表、分区都可以进一步进行分桶。(可以对列,也可以对表进行分桶)
由列的哈希值除以桶的个数来决定每条数据划分在哪个桶中。

2.设置

set hive.enforce.bucketing=true;
默认:false;设置为true之后,mr运行时会根据bucket的个数自动分配reduce task个数。(用户也可以通过mapred.reduce.tasks自己设置reduce任务个数,但分桶时不推荐使用)
注意:一次作业产生的桶(文件数量)和reduce task个数一致。

3.用途

桶表 抽样查询
select * from bucket_table tablesample(bucket 1 out of 4 on columns);
TABLESAMPLE语法:
TABLESAMPLE(BUCKET x OUT OF y)
x:表示从哪个bucket开始抽取数据
y:必须为该表总bucket数的倍数或因子

4.创建分桶表
CREATE TABLE psnbucket( id INT, name STRING, age INT)
CLUSTERED BY (age) INTO 4 BUCKETS
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

Hive Lateral View概念

作用:

Lateral View用于和UDTF函数(explode、split)结合来使用。
首先通过UDTF函数拆分成多行,再将多行结果组合成一个支持别名的虚拟表。
主要解决在select使用UDTF做查询过程中,查询只能包含单个UDTF,不能包含其他字段、以及多个UDTF的问题

语法:


LATERAL VIEW udtf(expression) tableAlias AS columnAlias (',' columnAlias)

举例 :

select count(distinct(myCol1)), count(distinct(myCol2)) from psn2
LATERAL VIEW explode(likes) myTable1 AS myCol1
LATERAL VIEW explode(address) myTable2 AS myCol2, myCol3;

Hive 运行方式
1.CLI方式:

1.1 与hdfs交互
        执行执行dfs命令
        例:dfs –ls /

1.2 与Linux交互
      !开头 例: !pwd

2.Hive脚本运行方式:

hive -e ""
hive -e "">aaa
hive -S -e "">aaa(简化一些输出比如时间等等)。
hive -f file
hive -i /home/my/hive-init.sql
hive> source file (在hive cli中运行)

 

使用docker快速搭建hive环境 记录一下使用docker快速搭建部署hive环境 阅读详情

相关推荐

hive核心基本概念

基于 Hadoop 的一个数据仓库工具: hive本身不提供数据存储功能,使用HDFS做数据存储, hive也不分布式计算框架,hive的核心工作就是把sql语句翻译成MR程序 hive也不提供资源调度系统,也是默认由Hadoop当中YARN集群来调度 可以将结构化的数据映射为一张数据库表,并提供 HQL(Hive SQL)查询功能

freefish_yzx的博客 1万+

hive数据仓库-bucket分桶

hive中table可以拆分成partition, table和partition可以通过CLUSTERED BY 进一步分bucket,bucket中的数据可以通过SORT BY排序。 bucket主要作用: 数据sampling 提升某些查询操作效率,例如mapside join 需要特别注意的是:clustered by和sorted by不会影响数据的导入,这意味着,用户必须自己负责数据如何如何导入,包括数据的分桶和排序。 set hive.enforce.bucketing = true 可

海边无限的专栏 536

hive的安装和使用

1、安装MySQL 查询以前安装的mysql相关包: rpm -qa | grep mysql 如果以前有安装,但已经不能正常使用或者想重新安装,则先卸载: 输入指令,逐个卸载: rpm -e mysql-community-client-5.6.41-2.el7.x86_64 --nodeps 然后进行安装: ...

RonieWhite的博客 1337

Hive 之 -e -f -i

zhuanzi: http://blog.youkuaiyun.com/u010220089/article/details/49231705 1、bin/hive -help [html] view plain copy bin/hive -help   15/10/18 06:34:46 WARN conf.HiveConf: DEPRECA

weixin_36630761的博客 8285

(01)Hive的相关概念——架构、数据存储、读写文件机制

Hive的相关概念——架构、数据存储、读写文件机制

爱吃辣条的博客 2397

(05) Hive的相关概念——函数介绍

HiveSQL的基础知识点

爱吃辣条的博客 2260

Hive数仓相关概念总结

01 Hive的基本介绍 1、hive产生的原因 · a) 方便对文件及数据的元数据进行管理,提供统一的元数据管理方式 ​ b) 提供更加简单的方式来访问大规模的数据集,使用SQL语言进行数据分析 2、hive是什么? The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL. St

gaofeng的博客 1489

(03)Hive的相关概念——分区表、分桶表

Hive的相关概念——分区表、分桶表

爱吃辣条的博客 2532

Apache Hive使用语法和相关概念

数据仓库是面向主题设计的,数据仓库存储的一般是历史数据,数据仓库是为分析数据而设计,数据仓库在设计是有意引入冗余,依照分析需求,分析维度、分析指标进行设计。数据库设计是尽量避免冗余,一般针对某一业务应用进行设计,比如一张简单的User表,记录用户名、密码等简单 数据即可,符合业务应用,但是不符合分析。特征:数据库是面向事务的设计,数据库一般存储业务数据,数据库是为捕获数据而设计,删除外部表:仅仅是删除元数据(表的信息),不会删除数据本身。CREATE TABLE 表名 like 存在的表名;

yydsZWH的博客 1022

(10)Hive的相关概念——文件格式和数据压缩

Hive的相关概念——文件格式和数据压缩

爱吃辣条的博客 1972

使用Intel编译器编译OpenFOAM

本文总结了使用INTEL编译器编译OpenFOAM的过程

姜蜉蝣的博客 1551

Hive相关概念

Hive:基于Hadoop之上的一个离线数据仓库,使用hdfs作为底层存储,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 Hive主要分为以下几个部分: 1. 用户接口 用户接口主要有三个:CLI,Client 和 WebUI(HUE/Zeppelin)。其中最常用的是 CLI,Cli 启动的时候,会同时启动一个...

yoohhwz的博客 362

ROS2节点通信实战:用C++手写一个‘智能小车’控制模型(附完整代码)

本文详细介绍了如何使用ROS2和C++构建一个智能小车控制模型,涵盖运动控制节点、电池管理服务、参数动态配置和Rviz可视化等核心功能。通过实战项目演示ROS2节点通信机制,帮助开发者快速掌握机器人开发的关键技术,并提供了完整的代码实现和系统集成方案。

weixin_30607029的博客 263

Flink与Hive结合的概念相关(一)

关键点: Flink与Hive结合使用,使用的是Flink引擎作为查询引擎 可以使用Flink的STREAMING 模式从 Hive 读取数据,作为一个解耦写入hive的查询方式 使用 HiveCatalog,Apache Flink 可用于 Apache Hive Tables 的统一 BATCH 和 STREAM 处理。 这意味着 Flink 可以用作 Hive 批处理引擎的性能更高的替代品,或者连续读写 Hive 表中的数据以支持实时数据仓库应用程序。 读取 Flink 支持..

forrest420的专栏 4391

Python爬虫实战:5分钟搞定东方财富网股票数据抓取(附完整代码)

本文详细介绍了如何利用Python爬虫技术,快速抓取东方财富网的实时股票数据。通过逆向分析其JSONP数据接口,构建了包含请求处理、数据清洗、分页调度及多格式存储的完整自动化采集系统,并提供了应对反爬策略与生产部署的进阶优化思路,附有可直接运行的完整代码。

weixin_29084231的博客 875

分离与合体题解(区间DP)

题目: 经过在机房里数日的切磁,LYD从社神牛那里学会了分离与合体,出关前,杜神牛给了他一个测试 杜神牛造了个区域,它们紧邻着排成了一行,编号1-n。在这經个区域里都放着一把OI界 的金钥匙,每一把都有一定的价值,LYD当然想得到它们了。然而杜神牛规定LYD不可以一下子 把它们全部拿走,而是每次只可以拿一把。为了尽快地拿到所有的金钥匙,LYD自然就用上了刚学的分离与合体特技。 开始LYD可以选择从1~n-11~n-11~n-1的任何一个区域(记为K)进入,进入后LYD会在K区域发 生分离,从而分离为两个小L

cqbz_lipengcheng的博客 372

Hive高级篇

Hive高级应用涵盖了优化技术、高级数据处理和复杂查询。优化方面,通过调整Hive参数、使用分区和分桶、选择合适的数据格式(如ORC或Parquet)可显著提升性能。高级数据处理包括窗口函数、用户定义函数(UDF)及复杂类型处理。Hive还支持事务管理和ACID特性,确保数据一致性和可靠性。这些高级功能使Hive成为处理大规模数据集的强大工具。

m0_63924864的博客 2818

VMware player桥接模式不能联网的解决方法

VMware虚拟机下主要使用两种网络连接方式:桥接模式、NAT模式。 桥接模式:查一下,虚拟机独立IP。 NAT模式:与电脑共享IP、需要映射应用服务的端口。 我的需求需要独立IP,于是使用桥接。 网络连接失败。 个人主机系统的网络设置: 设置 - 网络和 Internet - 更改适配器设置 给虚拟机设置网络适配器 只保留,点击确定,确定。 重新运行虚拟机。 ...

Mark_md的博客 9450

Hive从入门到放弃——Hive安装和基本使用(二)

Hive下载   这里使用Hive 2.3.5版本为例子:   官网下载地址:http://archive.apache.org/dist/hive/hive-2.3.5   一般是下载编译好的bin.tar.gz包:apache-hive-2.3.5-bin.tar.gz,如图1 图1 下载tar包选择 安装metadata库   为了配合Hadoop家族开源的精神,这么metadata就选.........

LXWalaz1s1s的博客 1367

Unity程序化河流生成工具Waterways:从算法到实践的全流程解析

程序化内容生成(PCG)是游戏开发与三维建模领域的关键技术,它通过算法自动创建游戏内容,显著提升开发效率。其核心原理是将设计规则转化为可执行的代码逻辑,从而生成复杂、多样且符合自然规律的环境资产。在开放世界游戏和模拟经营类项目中,程序化生成技术能够快速构建大规模、高一致性的自然场景,如山川、森林与水体网络。Unity引擎作为广泛使用的开发平台,其地形系统与着色器管线为程序化工具的集成提供了强大基础。本文聚焦于利用Waterways这一Unity工具集,深入探讨如何通过模拟重力驱动、流量累积等自然水力原理,在

weixin_33690963的博客 684

104、母线电容设计与选型

母线电容选型,容值不是最关键的,纹波电流和温度才是。很多炸机事故,不是容值不够,而是纹波电流超标导致过热。选电容时,多花点时间算纹波电流,比盲目加大容值有效得多。另外,别迷信进口品牌。国产电容(如江海、艾华)在常规应用里完全够用,价格只有进口的1/3。但高频特性确实有差距,所以高频去耦一定要用薄膜电容。最后,留个调试技巧:用示波器测母线电容两端的电压纹波,同时用电流探头测电容的纹波电流。如果纹波电流波形有尖峰,说明ESL太大,需要并联高频电容。如果纹波电压是低频波动,说明容值不够。

2401_88858637的博客 50

Hive-1 数仓和Hive基本概念

数仓和Hive基本概念数仓基础知识数仓基本概念数仓特点数仓和数据库的主要区别OLTP和OLAP数据仓库的分层架构数据仓库分层的目的数仓的三层架构数仓的四层架构ETLHive概念Hive的优缺点Hive框架原理Hive SQL执行过程简述Hive数据类型基本数据类型复合数据类型 数仓基础知识 数仓基本概念 数仓英文名Data Warehouse ,简写为DW或DWH。 数仓的目的是构建面向分析的数据环境,数仓本身不产生数据,也不消耗数据。数据来源于外部,并且开放给外部使用。这也是数仓为什么叫“仓库”,而不是

a3125504x的博客 849

OpenStack 2018 年终盘点

目录 文章目录目录前言OpenStack 一年来的成长NovaCinderNeutronIronicCyborgOctaviaKollaMagnumZunKuryr从 OpenStack 到 OpenInfra 前言 这是最好的时代,也是最坏的时代 — — 查尔斯·约翰·赫芬姆·狄更斯《双城记》 年关将至,闲暇之余,回顾我与 OpenStack 的 2018。 NOTE:仅作为个人见解,与公...

烟云的计算 3597

Hive基础和使用详解

Hive基础和使用详解

m0_48170265的博客 6292

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

上一篇: Hive篇--搭建Hive集群
下一篇: Mysql篇--Linux中安装Mysql
L先生AI课堂
L先生AI课堂 领域专家: 大数据技术领域 领域专家: 大数据技术领域
博客等级 码龄9年 678粉丝 216原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

L先生AI课堂

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值