- 博客(9)
- 收藏
- 关注
RSS订阅原创 Hive数据关联操作
ALL和DISTINCT子句表示是否返回重复行，默认是ALL，返回所有匹配行。DISTINCT子句可以返回删除结果集中的重复行。LIMIT子句用于限制SELECT语句返回的行数。
2024-06-24 23:21:48
202
原创 Hive元数据的定义与操作存储
仅仅获取元数据而不操作的话，使用hive-metastore组件更加合适。hive-metastore，通过访问metastore服务实现。hive-jdbc，通过JDBC方式连接HiveServer2。hive-metastore通过面向对象的方式访问数据库数据。Hive为Java环境提供两种方式对元数据进行访问。Hive创建分区表语句。
2024-06-24 22:59:17
222
原创 元数据概念与表的结构
Hive元数据存储在RDBMS中，有三种存储模式。包括Hive表的数据库名、表名、字段名与类型等。元数据存储在Derby数据库，是默认的存储方式。在同一数据库目录下只能有一个Hive客户端使用。远程服务模式，使用远程元数据服务访问数据库。单用户模式，使用内置Derby数据库。多用户模式，使用本地MySQL数据库。优点：Derby小巧易用，安装方便。单用户存储模式适合在测试环境中使用。元数据是描述真实数据的数据。单用户存储模式优缺点。
2024-06-24 22:48:05
433
原创 Hive 分区与分桶
查询时Hive自动过滤掉不用于提高性能的分区。查询时Hive自动过滤掉不用于提高性能的分区。根据“桶列”的哈希函数将数据进行分桶。根据“桶列”的哈希函数将数据进行分桶。查询时使用“分区”列和常规列类似。分桶是相对分区进行更细粒度的划分。查询时使用“分区”列和常规列类似。分桶是相对分区进行更细粒度的划分。Hive操作分区/分桶类型及设置。分区列的值将表划分为文件夹。Hive分区表/分桶表描述。分区列的值将表划分为文件夹。Hive分区表描述回顾。Hive分桶表描述回顾。Hive分桶表描述回顾。
2024-06-24 22:42:26
396
原创 Hive 存储模型与数据类型
Databases数据库，在HDFS中为hive.metastore.warehouse.dir目录下的一个文件夹Tables表，表由列构成，在表上可以进行过滤、映射、连接和联合操作，在HDFS中为数据库目录下的子目录Hive表分为内部表和外部表内部表类似于RDBMS中的表，由Hive管理外部表指向已经存在HDFS中的数据，外部表的真实数据不被Hive管理。
2024-06-24 22:28:14
511
原创 Hive 产生背景与架构设计
传统Hadoop架构存在的一些问题MapReduce编程必须掌握Java，门槛较高传统数据库开发、DBA、运维人员学习门槛高HDFS上没有Schema的概念，仅仅是一个纯文本文件Hive的产生为了让用户从一个现有数据基础架构转移到Hadoop上现有数据基础架构大多基于关系型数据库和SQL查询Facebook诞生了Hive它是基于Hadoop的数据仓库工具方便的将结构化数据文件映射为一张数据库表提供SQL查询功能，SQL语句底层转换为MR作业执行。
2024-06-24 22:21:12
379
原创 Hive入门
企业中不同用户（例如 IT 部门、数据工程、业务分析和数据科学团队的成员）对数据仓库的需求各不相同。现代数据架构可有效管理所有数据类型、工作负载和分析，满足这些需求。它包含架构模式以及符合行业优秀实践的必要集成组件。现代数据仓库包括：融合数据库，可简化所有数据类型的管理并支持多种数据使用方法自助式数据提取和转换服务支持 SQL、机器学习、图形和空间处理多种分析选项，可轻松使用数据而无需移动数据自动化流程，可简化供应、扩展和管理现代数据仓库可高效简化数据工作流，任何其他仓库都无法企及。
2024-06-23 23:17:09
351
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人