Hive 知识点八股文记录 ——（一）特性

原创 已于 2025-01-24 16:25:21 修改 · 1.1k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #hadoop #数据仓库

于 2023-11-09 15:35:53 首次发布
本文介绍了Hive的SQL查询功能、基于Hadoop的数据仓库结构、服务端组件如Driver和Metastore，以及与Spark的对比，特别是SQL运行架构和表的管理。Hive主要适用于离线分析，而Spark在实时性和速度上更具优势。

Hive通俗的特性

  • 结构化数据文件变为数据库表
  • sql查询功能
  • sql语句转化为MR运行
  • 建立在hadoop的数据仓库基础架构
  • 使用hadoop的HDFS存储文件
  • 实时性较差（应用于海量数据）
  • 存储、计算能力容易拓展（源于Hadoop）

支持这些特性的架构

CLI（command line interface）、JDBC/ODBC、Thrift Server、WEB GUI、metastore和Driver(Complier、Optimizer和Executor)
在这里插入图片描述

服务端

  1. Driver：包括了Complier、Optimizer和Executor。将Hive sql解析，编译，优化，生成执行计划
  2. Metastore：存储hive元数据（描述数据的数据，比如一行数据里面，单个数据的名字叫啥，类型是啥，注释是啥，以及表本身的框架） 解耦hive服务和metastore服务
  3. Thrift：可扩展且跨语言的服务的开发，hive集成服务支持不同编程语言调用hive的接口、

客户端

  1. CLI： 命令行接口
  2. Thrift客户端： hive架构的接口基于thrift客户端（如 JDBC， 面向java的连接； ODBC 开放数据连接）
  3. WEBGUI：网页访问Hive服务接口
最低0.47元/天 解锁文章
Hive 知识点八股文记录 ——（二）优化
JamSlade的博客
11-09 1451
1.count distinct时，将值为空的情况单独处理，如果是计算count distinct，可以不用处理，直接过滤，在最后结果中加1。2.如果还有其他计算，需要进行group by，可以先将值为空的记录单独处理，再和其他计算结果进行union；where条件优化，join的过程中，对小表先进行where操作（where条件在map端执行），再与另一个表join，而非先join再where。情况，可以将小表存入内存再对达标进行map操作（小表存入内存是hive自己根据表大小确定的）
大数据开发八股文总结——Hive
化身孤岛的鲸o的博客
04-20 3087
大数据开发八股文总结——Hive
Hive八股文最全总结 （附经典面试高频考点）
YTHX516的博客
04-16 535
Hive 是构建在 Hadoop 之上的一个数据仓库工具，提供类 SQL 的查询语言 HQL。它将结构化数据文件映射为表，可用于查询 HDFS 或兼容系统（如 HBase、MapR-FS、Cassandra）中的数据。
高频面试八股文用法篇(一) hive窗口函数
我的E家
06-01 836
hive中的窗口函数是什么
大数据开发八股文总结——Hadoop
化身孤岛的鲸o的博客
04-18 7471
大数据开发学习总结——Hadoop
2024.1.5 Hadoop阶段,各组件工作原理,八股文,面试题
白白的wj的博客
01-06 1666
leader宕机后启动: 每一个leader当老大的时候,都会产生新纪元epoch,且每次操作完节点数据都会更新事务id(高32位_低32位) ,当leader宕机后,剩下的follower就会综合考虑几个因素选出最新的leader,先比较最后一次更新数据事务id(高32位_低32位),谁的事务id最大,谁就当选leader,如果更新数据的事务id都相同的情况下,就需要再次考虑myid,谁的myid大,谁就当选leader。那么排序后的结果是、、。如果没有，直接输出到文件中。
数据仓库面试八股文
03-25
以下是围绕数据仓库主题整理的一系列高频考察知识点清单： #### 技术概念类 1. 星型模型和雪花型模型各自特点是什么？ 2. 维度建模的核心理念有哪些？ #### 实践经验类 3. 如何评估ETL作业效率瓶颈所在？采取哪些...
大数据面试 Hive 八股文
02-20
相当全的、比较常见的大数据 hive 面试题，对大数据开发工程师的面试有很大的帮助。熟能生巧，多背几次，吊打面试官，希望大家都能找到满意的 offer
70道Hive面试八股文（答案、分析和深入提问）整理
ocean2103的专栏
10-08 2665
每种保存元数据的方式都有其适用场景和特点，用户可以根据数据规模、并发需求、性能要求及技术栈来选择合适的元数据存储方案。在生产环境中，通常推荐使用外部的关系型数据库，以提高整体的性能与稳定性。静态分区适合固定、少量的分区场景，使用上更简单，但灵活性不足。动态分区适合频繁变动或数据量大的场景，具备灵活性，但需要额外的配置与处理。选择哪种分区方式，应根据具体应用场景和数据特性来决定。：每一行都有唯一的编号。RANK()：相同的值共享相同的排名，后续排名跳过相应数量。
hive基础知识总结
09-18
本文档为总结的hive基础知识，包括hive服务、变量和属性、日志、表操作……等基础知识。
高频面试八股文用法篇(二) hive中几种排序类型区别
我的E家
06-06 515
hive中order by, sort by, distribute by, cluster by 区别
Flink 窗口
记录点点滴滴
11-24 4133
窗口 (Window) : 把无界流进行切分，每一段数据分别进行聚合，结果只输出一次Flink 窗口把流切成多个存储桶 (bucket)
重温大数据---Hive介绍与填坑配置
LeoByte的编程驿站
11-16 2275
沿着前面的内容，接下来的文章就是关于Hive的知识，从基础的搭建到高级应用。大二初学Hive的时候，就觉得和Mysql差不多，但是对于Hive为什么叫做数据仓库，以及Hive的UDF编程我并没有太多思考。直到目前算是明白了数据仓库的含义。对Hive的使用有了新的认识。 Hive是什么 先看一看官方的解释 hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表...
来点八股文(一) 分布式理论及应用
treblez's blog
01-24 3101
由6.824和Hadoop技术资料整理，持续更新中 文章目录6.824Spark架构RDD算子转换算子执行算子SparkSQL 6.824 什么是CAP？ 一致性 可用性 分区容错性 分区容错是必然要提供的一个特性，如果要保证一致性，那么可用性不能得到保障。 云服务厂商一般提供5个9的可用性保障。 简述一下GFS的一致性策略？ 元数据的写入是加锁串行的 无并发写一个chunk的时候，当三个副本全部写成功的时候才会返回成功，否则返回失败 这将导致GFS系统中文件的不一致性 有并发的时候由primary
＜Zhuuu_ZZ＞HIVE(终)总结大全：是兄弟就来三连我
Zhuuu_ZZ的博客
10-14 3191
HIVE总结大全一 Hive入门1 什么是Hive2 Hive的优缺点2.1 优点2.2 缺点3 Hive架构原理4 Hive和数据库比较4.1 查询语言4.2 数据存储位置4.3 数据更新4.4 索引4.5 执行4.6 执行延迟4.7 可扩展性4.8 数据规模二 Hive 安装三 Hive常见属性配置1 Hive数据仓库位置配置2 查询后信息显示配置3 Hive运行日志信息配置4 参数配置方式四 Hive数据类型1 基本数据类型2 集合数据类型3 类型转化五 DDL数据定义1 创建数据库2 查询数据库2.
Iceberg 与 Hive 用法区别
Direction_Wind的博客
12-17 865
本文档介绍 Iceberg 和 Hive 在使用上的区别和注意事项，便于对 Hive 用户熟悉的用户快速上手 iceberg。以下主要介绍 spark 使用 iceberg v1 表和 hive 表的区别。
EPICS ARCHIVER APPLIANCE
BF0624的博客
12-16 846
Archiver是一款基于JAVA的开源数据归档系统。专门用于长期采集、存储和检索EPICS控制系统中的实时数据（主要是高性能检索）。核心功能包括：1.数据采集：支持大规模PV（过程变量）监控，可同时采集数万个PV，采集策略灵活（周期触发/阈值触发）。通过Channel Access/PVAccess协议与EPICS IOC通信2.存储架构：分层存储设计。短期存储将最近1小时的数据存储在内存中；中期存储将最近1天的数据存储在本地硬盘；长期存储将一年的数据存储在分布式数据库或网络存储中。
Flink SQL 的 LOAD MODULE 深度实战——加载 Hive 模块、理解模块发现与常见坑
最新发布
hello.reader
12-19 568
Flink SQL中的LOAD MODULE命令用于加载模块以扩展SQL功能，相当于为SQL引擎安装插件。通过executeSql执行该命令，成功返回OK。使用时需注意module_name大小写敏感，WITH参数会传递给模块实例化过程。最佳实践是加载模块后，使用SHOW FULL MODULES检查状态，并通过USE MODULES确定模块启用顺序。常见问题包括模块未启用、名称拼写错误或配置参数缺失。这一机制是Flink SQL模块化管理的关键，需结合加载、查看和启用三个步骤使用。
hive知识点总结
06-21
### Hive 知识点总结 #### 1. Hive 的定义与功能 Hive 是建立在 Hadoop 之上的开源数据仓库系统，可以将存储在 HDFS 上的结构化或半结构化数据文件映射为一张数据库表，并提供了一种类似于 SQL 的查询语言——HQL（Hive Query Language），用于访问和分析存储在 Hadoop 文件中的大型数据集[^1]。 #### 2. Hive 的核心特点 - **数据存储**：Hive 的数据存储在 HDFS 中，而元数据存储在 RDBMS 中（如 MySQL 或 Derby）[^3]。 - **查询语言**：Hive 提供了类似 SQL 的查询语言 HQL，便于用户进行数据分析[^1]。 - **执行引擎**：Hive 的查询最终会被转换为 MapReduce、Tez 或 Spark 任务来执行[^1]。 - **大规模数据处理**：Hive 支持大规模数据计算，适合处理 TB 级甚至 PB 级的数据[^2]。 #### 3. Hive 的基本操作 - **创建数据库**： ```sql CREATE DATABASE [IF NOT EXISTS] database_name [COMMENT 'database_comment'] [LOCATION 'hdfs_path'] [WITH DBPROPERTIES (property_name=property_value, ...)]; ``` 这条语句用于创建一个新的数据库，同时可以指定注释、存储路径以及数据库属性[^5]。 - **创建表**： - 内部表： ```sql CREATE TABLE table_name ( column1 datatype, column2 datatype, ... ) STORED AS file_format; ``` - 外部表： ```sql CREATE EXTERNAL TABLE table_name ( column1 datatype, column2 datatype, ... ) LOCATION 'hdfs_path'; ``` 内部表的数据由 Hive 管理，删除表时会删除数据；外部表的数据存储在指定的 HDFS 路径中，删除表时不会删除数据[^1]。 - **加载数据**： ```sql LOAD DATA [LOCAL] INPATH 'path_to_data' [OVERWRITE] INTO TABLE table_name; ``` 该命令用于将本地或 HDFS 上的数据加载到 Hive 表中。 - **查询数据**： ```sql SELECT column1, column2 FROM table_name WHERE condition; ``` Hive 支持标准的 SQL 查询语法，包括过滤、分组、排序等操作。 #### 4. Hive 的配置优化 - **避免笛卡尔积**：将 `hive.strict.checks.cartesian.product` 设置为 `true`，可以限制不带 `ON` 子句的 `JOIN` 查询，防止出现不可控的笛卡尔积[^4]。 - **选择合适的执行引擎**：可以通过设置 `hive.execution.engine` 参数来选择 MapReduce、Tez 或 Spark 作为执行引擎。例如： ```sql SET hive.execution.engine=tez; ``` #### 5. 数据仓库查询语言 Hive 的查询语言 HQL 类似于 SQL，但有一些差异需要注意： - **分区与分桶**：Hive 支持分区和分桶技术，用于优化查询性能。分区是基于某些列对数据进行物理分割，分桶是基于哈希值对数据进行逻辑分割[^1]。 - **JOIN 查询**：Hive 不支持自动将 `WHERE` 子句转化为 `ON` 子句，因此需要显式指定 `ON` 条件[^4]。 - **复杂数据类型**：Hive 支持数组、映射和结构体等复杂数据类型，可以在查询中使用这些类型进行复杂数据处理[^1]。 ```sql -- 示例：查询包含复杂数据类型的表 SELECT id, array_column[0], map_column['key'], struct_column.field_name FROM complex_table; ``` --- ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值