【大数据基础实践】(六)数据仓库Hive的基本操作_熟悉hive的基本操作(2)

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

	- * [5.2.1 新建一个数据库；](#521__233)
		* [5.2.2 新建表](#522__240)
		* [5.2.3 添加分区](#523__246)
		* [5.2.4 导入grade\_zqc](#524_grade_zqc_270)
		* [5.2.5 统计男、女生人数](#525__281)
		* [5.2.6 统计每个学生所有科目的总分以及平均分](#526__288)
		* [5.2.7 统计每个科目有多少人以及每个科目平均成绩](#527__295)
		* [5.2.8 查询chinese科目得分排前两名学生学号和分数；](#528_chinese_300)
		* [5.2.9 创建一个新表rank\_zqc保存CS系每个学生信息和科目总分，按成绩降序排序，并查询结果；](#529_rank_zqcCS_302)
		* [5.2.10 统计每个系所有科目平均成绩在所有系中的占比。](#5210__318)
		* [5.2.11 统计每个系每个科目考试不合格学生的占比。](#5211__332)
		* [5.2.12 删除分区，删除表，删除库，退出Hive。（删除操作请谨慎！）](#5212_Hive_338)
	- [5.3 JavaApi进行实验内容](#53_JavaApi_351)
+ [最后](#_414)

1. 数据仓库概念

数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。

• 数据仓库与传统数据库本质区别

数据仓库中的数据相对稳定，大部分情况下不会发变更，存储大量历史数据；
传统数据库一般只存储某一时刻状态信息，不保存历史数据。

2. Hive简介

2.1 简介

• Hive是一个构建于Hadoop顶层的数据仓库工具
• 依赖分布式文件系统HDFS存储数据，依赖分布式并行计算模型MapReduce处理数据，本身不存储和处理数据（区别：传统数据仓库支持数据存储和处理分析）
• 支持大规模数据存储、分析，具有良好的可扩展性
• 定义了简单的类似SQL 的查询语言——HiveQL/HQL
• 用户可以通过编写的HQL语句运行MapReduce任务
• 可以很容易把原来构建在关系数据库上的数据仓库应用程序移植到Hadoop平台上
• 是一个可以提供有效、合理、直观组织和使用数据的分析工具

2.2 特性

• 采用批处理方式处理海量数据

1. Hive需要把HiveQL语句转换成MapReduce任务进行运行
2. 数据仓库存储的是静态数据，对静态数据的分析适合采用批处理方式，不需要快速响应给出结果，而且数据本身也不会频繁变化

• 提供适合数据仓库操作的工具

1. Hive本身提供了一系列对数据进行提取、转换、加载（ETL）的工具，可以存储、查询和分析存储在Hadoop中的大规模数据
2. 这些工具能够很好地满足数据仓库各种应用场景

2.3 生态系统

• Hive依赖于HDFS 存储数据、
• Hive依赖于MapReduce 处理数据
• 在某些场景下Pig可以作为Hive的替代工具
• HBase 提供数据的实时访问
• Pig主要用于数据仓库的ETL环节
• Hive主要用于数据仓库海量数据的批处理