HIVE学习记录-数据模型以及和SQL的对比

最新推荐文章于 2026-01-02 23:41:48 发布
原创 最新推荐文章于 2026-01-02 23:41:48 发布 · 247 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #学习 #sql

HIVE利用分区和分桶来优化大规模数据的处理，分区通过日期等列将表划分为不同部分，提高查询效率，表现为子文件夹结构。分桶则是基于特定字段的Hash计算，进一步细化数据存储，便于数据分析。与MySQL比较，HIVE专注于海量数据的离线分析（OLAP），而MySQL更适合在线事务处理（OLTP）。

HIVE中的数据模型

在这里插入图片描述

  • Table-表
    在这里插入图片描述

  • Partition-分区
    HIVE的一种优化手段，根据分区列（比如日期“day”）的值将表划分为不同分区，可以提高查询效率。各个分区以子文件夹的形式存在。一个文件夹表示一个分区
    在这里插入图片描述

  • Bucket-分桶
    HIVE的一种优化手段，根据表中的字段，比如“编号ID”经过Hash计算将数据继续划分为若干个小文件。
    在这里插入图片描述
    分桶与不分桶的对比
    在这里插入图片描述

HIVE与MySQL的对比

HIVE是做海量数据的离线分析是OLAP，而SQL是OLTP
OLAP和OLTP对比
在这里插入图片描述

Hive 优化--SQL执行顺序、Hive参数、数据倾斜 、小文件优化
.
03-09 2887
代码写的顺序： select ... from .a join b. on .. where.... group by... having... order by.. msyql语句执行顺序 ： from. join. on . where...group by... having.... select ... order by... hive 语句执行顺序 大致顺序 from...
Hive 分层设计及用户画像概述
Mogeko1的博客
03-31 486
Hive 分层设计及用户画像概述
从SQL到Hive，这些区别你记好
好好学习日记
04-17 2242
根据万字长文——最详Hive入门指南。
hive学习-----基础介绍
Kayleigh520的博客
12-24 1758
hive的框架介绍以及一些基础知识的介绍
【Hive】2-Apache Hive概述、架构、组件、数据模型
qq_45917176的博客
10-19 2303
Apache Hive概述、架构、组件、数据模型
hive插入多条数据sql_30分钟入门 Hive SQL（HQL 入门篇）
weixin_32516005的博客
01-27 1787
Hive SQL 几乎是每一位互联网分析师的必备技能，相信每一位面试过大厂的童鞋都有被面试官问到 Hive 优化问题的经历。所以掌握扎实的 HQL 基础尤为重要，既能帮分析师在日常工作中“如鱼得水”提高效率，也能在跳槽时获得一份更好的工作 offer。本篇为 Hive 入门篇，主要为 Hive SQL 基础语法介绍，文章争取做到言简意赅，让大家 30 分钟入门 HQL。文中视角多处 HQL 对比 ...
数据仓库Hive和数据湖以及Impala， 数仓建模总结与高频运用
m0_73164406的博客
05-11 1264
数据倾斜是指在分布式计算中，数据分布不均匀，导致某些节点处理的数据量远大于其他节点，形成数据热点。在MapReduce任务中，大量相同的key被分配到同一个reduce节点，导致该节点负载过重，而其他reduce节点却处于空闲状态，造成资源分配不均。重新将表分区，使数据更均匀地分布在各个分区中。可以使用Hive的语句和子句来实现。
Hive入门--学习笔记
yfq_29的博客
11-15 693
Hive入门学习笔记
Hive-学习笔记
weixin_48626604的博客
03-25 1863
Hive-学习笔记 1 Hive概述 什么是Hive？ Apache Hive是一款建立在Hadoop之上的开源数据仓库系统，可以将存储在Hadoop文件中的结构化、半结构化数据文件映射为一张数据库表，基于表提供了一种类似SQL的查询模型，称为Hive查询语言（HQL），用于访问和分析存储在Hadoop文件中的大型数据集。 Hive核心是将HQL转换为MapReduce程序，然后将程序提交到Hadoop群集执行。Hive由Facebook实现并开源。 为什么使用Hive？ 使用Hadoop
精选资源
Hive大数据仓库-笔记整理 （一）2020年最新版.pdf
10-11
2. **Hive数据模型**：Hive支持两种基本的数据模型——表和分区。表是数据的基本单位，可以有多个字段（columns），每个字段都有特定的数据类型。分区则是为了优化查询性能，将大表按特定字段（如日期或地区）划分为...
完整图文版 阿里巴巴数据产品平台 大数据与云计算技术系列教程 Hadoop之Hive学习笔记（共63页）.pdf
09-04
Hive虽然在执行延迟和实时查询方面相对较弱，但在大数据处理和分析场景下，其并行计算能力、可扩展性和灵活的数据模型使其成为大数据领域的有力工具。对于熟悉SQL的开发人员来说，Hive提供了便捷的数据处理途径，是...
docker下构建Hadoop集群，Hive数据库和Mysql数据库查询对比_Hadoop-Hive.zip
09-15
在这一系列准备工作的基础上，设计一系列对比实验，通过编写相应的查询语句在Hive和Mysql中执行，记录执行时间、系统资源消耗等指标，对比分析两者在不同场景下的性能表现。例如，可以对比两者在执行聚合查询、连接...
【用户行为归因分析项目】- 【企业级项目开发第三站】模拟DIM层设备、应用数据加载到Hive
qq_40607631的博客
01-01 412
摘要：该项目实现了一个用户行为归因分析的数据仓库系统，包含设备维表和应用维表的数据生成与加载功能。核心类ProductDimData提供mockDeviceData()和mockAppData()方法模拟生成设备与应用数据，并通过loadDeviceData()和loadAppData()方法将数据加载到Hive表中。系统支持全量(overwrite)和增量(into)两种数据加载方式，设备信息包含品牌、型号、价格等字段，应用信息包含名称和类别。项目采用Scala语言开发，通过配置类DeviceAndApp
【Hive】Linux（CentOS7）下安装Hive教程
feizuiku0116的博客
12-31 1736
本文详细介绍了Hive 3.1.3在CentOS 7环境下的安装配置过程。实验使用3个节点（feilink1-3）搭建Hadoop 3.3.4集群，配置MySQL 8.0.29作为元数据库。重点包括：配置Hadoop代理用户、下载安装Hive、添加MySQL驱动、配置hive-site.xml文件、初始化元数据库（创建74张表），以及启动Hive服务（metastore和hiveserver2）。文中提供了完整的命令序列和配置文件内容，确保Hadoop与Hive的集成运行。
Hive系列：Hive 安装和配置
兴趣是最好的老师
12-31 418
Hive 的表数据存储于 HDFS 中，所以需要开启 HDFS 集群，Hive 的查询依赖于 MapReduce 任务，所以需要开启 Yarn 集群。Hive 元数据存储于 Linux 系统下的 mysql 5 中，所以需要启动 mysql 服务，并允许 Hive 远程连接 mysql。将 apache-hive-3.1.2-bin.tar.gz 安装包上传到 node-01 的 /root 目录下并将其解压。如果初始化失败，请检查连接 MySQL 配置的 URL 地址是否正确。
Hive Dialect 的查询能力支持哪些 HiveQL 子集，怎么写、怎么跑
最新发布
hello.reader
01-02 1072
Hive Dialect 在 Flink 中支持 HiveQL 的主要查询功能，包括排序、聚合、连接、窗口函数等常见操作。语法结构遵循标准 Hive 查询模板，支持 WHERE 过滤、GROUP BY 聚合以及多种排序方式（ORDER BY/CLUSTER BY/DISTRIBUTE BY）。使用时需先配置 HiveCatalog 并切换方言，注意全局排序 ORDER BY 在大数据集上性能较差，建议改用分区排序。示例展示了从环境配置到运行 UDTF 和 CLUSTER BY 查询的全流程，提醒开发者注意方
SpringBoot3 配置嵌入Servlet容器
thulium_kyg的博客
12-29 259
/ 方式1：指定具体的URL模式// 方式2：或者使用value属性（和urlPatterns等价）@Override@Override。
Hive系列：Hive 默认分隔符
兴趣是最好的老师
12-31 322
Hive 中的默认分隔符是 ^A (\001) ，这是一种特殊的分隔符，使用的是 ASCII 编码的值，键盘是打不出来的。“\001” “\002” "\003"分隔是程序代码中进行解析需要的。通过字符替换输入八进制的 ASCII 码，可以实现输入特殊字符。所以，notePad++ 打开后显示的分隔符正常。从 ASCII 输入面板中选择需要输入的字符即可。Linux 上的文件。
Flink Modules 把自定义函数“伪装成内置函数”，以及 Core/Hive/自定义模块的加载与解析顺序
hello.reader
12-31 706
Flink SQL 的 Module 机制提供了一种灵活的函数扩展方案。它允许将自定义函数、Hive函数等作为系统内置函数使用，支持函数包的统一管理和加载。Module具有明确的解析顺序控制，可以解决同名函数冲突问题。通过LOAD/UNLOAD和USE MODULES命令可以动态管理模块生命周期和优先级。该机制特别适合需要统一函数能力包、兼容Hive生态等场景，但不适用于需要命名空间隔离或临时函数的情况。相比直接注册函数，Module提供了更系统化的函数管理能力。
my sql和 hivesql
01-11
### MySQL 和 HiveSQL 的特性差异 #### 数据处理模型 MySQL 是一种关系型数据库管理系统(RDBMS)，主要用于在线事务处理(OLTP)[^1]。它支持ACID属性，即原子性、一致性、隔离性和持久性，适用于需要强一致性的应用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Kilig*

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值