Hive数仓项目架构说明、环境搭建及数据仓库基础知识

原创

于 2022-10-10 16:39:13 发布 · 946 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #hive #大数据

本文介绍了基于Cloudera Manager的大数据教育项目架构，包括软件选择、数据流转流程、环境搭建步骤及注意事项。重点讲解了数据仓库的基本概念、维度分析、数仓建模等内容。

今日内容：

1) 教育项目的架构说明 (理解)
2) cloudera manager 基本介绍 (了解)
3) 教育项目环境搭建 (参考搭建笔记, 搭建成功)
4) 数据仓库的基本介绍(回顾) -- 理解
5) 维度分析的基本内容 -- 理解
6) 数仓建模的基本内容 -- 理解
7) 教育数仓分层架构 -- 理解

1. 教育项目的架构说明

项目的架构: 
    基于cloudera manager大数据统一管理平台, 在此平台之上构建大数据相关的软件(zookeeper,HDFS,YARN,HIVE,OOZIE,SQOOP,HUE...), 除此以外, 还使用FINEBI实现数据报表展示

各个软件相关作用:
    zookeeper: 集群管理工具, 主要服务于hadoop高可用以及其他基于zookeeper管理的大数据软件
    HDFS:  主要负责最终数据的存储
    YARN: 主要提供资源的分配
    HIVE: 用于编写SQL, 进行数据分析
    oozie:  主要是用来做自动化定时调度
    sqoop: 主要是用于数据的导入导出
    HUE: 提升操作hadoop用户体验, 可以基于HUE操作HDFS, HIVE ....
    FINEBI: 由帆软公司提供的一款进行数据报表展示工具

项目架构中: 数据流转的流程
    首先业务是存储在MySQL数据库中, 通过sqoop对MySQL的数据进行数据的导入操作, 将数据导入到HIVE的ODS层中, 对数据进行清洗转换成处理工作, 处理之后对数据进行统计分析, 将统计分析的结果基于sqoop在导出到MySQL中, 最后使用finebi实现图表展示操作, 由于分析工作是需要周期性干活, 采用ooize进行自动化的调度工作, 整个项目是基于cloudera manager进行统一监控管理


面试题: 
    请介绍一下最近做了一个什么项目? 为什么要做, 以及项目的架构和数据流转流程

    请介绍项目的架构是什么方案? 项目的架构和 数据流转的流程

    整个项目各个软件是如何交互的?   数据流转的流程