数据仓库（data warehouse）-简介

数据仓库：组织数据的方式，按照主题来进行组织（多张事实表+多张维度表）集成的相对稳定，没有update和delete操作

反映历史变化（Time Variant）：历史数据，每条记录都是表示过去某个时刻的一条事实

数据仓库的价值：用于支持管理决策（Decision Marking Support）

数据仓库：历史数据，标准化结构数据，文本数据，进行查询分析，支持sql中的select语法

 

hive依赖于hdfs存储数据，hive的本质是将sql语句转换为Map Reduce任务运行，使得Map Reduce用户很方便的利用Hql处理和计算hdfs上的结构化数据，适用于离线的批量数据计算，极大简化分布式计算程序的编写，将精力集中于业务逻辑。

执行流程：driver接收语句-->compiler变成抽象语法树,逻辑执行计划，优化-->optimizer物理执行计划，优化-->executor执行

hdfs中的元数据（大文件的存储文件：分散存储+冗余存储）

1. 目录树空间
2. 每个大文件都对应到哪些小文件呢
3. 一个数据块有三个副本，这个数据块的三个副本到底存储在哪三个节点呢？

hive的元数据：把存储在hdfs上的结构化数据想象成一张二维表

1. 表名（表和数据文件之间的映射关系）
2. 字段定义（由哪些字段组成的）
3. 行列分隔符（行与行的界限，列与列的界限）
4. 表中的数据（表对应到哪些文件呢）

hive的元数据管理借助于一个关系型数据库（hive自带一个嵌入性小型RDBM：derby）企业级应用建议用MySQL

hive环境搭建：

1. hadoop集群，不管是单机，伪分布式，分布式，ha,联邦
2. 安装MySQL 权限问题：access denied 解决方法：远程连接权限

 

简单的建表语句