大数据面试要点归纳总结

1.数据仓库

架构（大数据平台基于hadoop+hive+kafka）

数据缓冲区（ODS）的数据结构与源系统完全一致。基础数据模型(DWD)和汇总层DWM（轻度汇总与高度汇总）是大数据平台重点建设的数据模型。集市层DWS(DM)模型由各主题按需自行建设，其中基础数据层DWD模型一般采用ER模型，DWM采用维度建模思路，主题分析DWS(DM)。应用层APP,一般是mysql/hbase/reids/clickhouse.

为什么要分层？

数据仓库一般要进行分层的设计，其能带来五大好处：
清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。
数据血缘追踪：能够快速准确地定位到问题，并清楚它的危害范围。
减少重复开发：规范数据分层，开发一些通用的中间层数据，能够减少极大的重复计算。
把复杂问题简单化：将复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，比较简单和容易理解。当数据出现问题之后，不用修复所有的数据，只需要从有问题的步骤开始修复。
屏蔽原始数据的异常：不必改一次业务就需要重新接入数据。

数据模型的意义

数据模型将数据有序的组织和存储起来之后，大数据才能得到高性能、低成本、高效率、高质量的使用。
性能：帮助我们快速查询所需要的数据，减少数据的I/O吞吐，提高使用数据的效率，如宽表。
成本：极大地减少不必要的数据冗余，也能实现计算结果复用，极大地降低存储和计算成本。
效率：在业务或系统发生变化时，可以