大数据项目介绍

目录

项目阶段

1.数据库与数据仓库的区别

2.文件数据转化为结构化数据

3.结构化数据操作

4.HiveSQL

5.数据导入流程

6.项目介绍

7.电商介绍

8.项目业务介绍

9.数仓分层架构

10.技术架构

11.项目人员及开发周期介绍

12.项目开发周期

13.项目服务器选择

14.CDH介绍

15.ClouderaManager架构

16.服务器

---

项目阶段

1.数据库与数据仓库的区别

数据库和数据仓库都是将数据转为结构化数据处理(表数据)
联机事务处理 0LTP 数据库 面向事务进行数据处理，数据的增删改查
联机分析处理 OLAP 数据仓库 面向分析进行数据处理，数据存储和查询 一次写入 多次读取

2.文件数据转化为结构化数据

(1)Kettle 读取文件数据存储到数据库，也可以将文件数据导入存储到数仓中
(2)编程代码 Python

3.结构化数据操作

使用SQL，结构化查询语言(DDL,DML,DQL,DCL(权限管理))。

4.HiveSQL

在进行表数据操作时，是将表的数据成两部份操作
表元数据(表明，字段名，字段类型，约束等)，hive的metastore管理
表行数据(记录的一条条数据)，hdfs管理

5.数据导入流程

(1)用户办理业务将数据传入数据库
(2)数据库数据导入数仓(工具有kettle，python等)
(3)数仓的Hive操作(写sql)
(4)将操作结果进行BI展示

6.项目介绍

项目名称 黑马甄选
数仓形式 离线数仓开发
业务类型 电商业务

7.电商介绍

(1)B2B B2C C2C
(2)项目属于 新零售电商
(3)新零售 线(网站,app,小程序)+线下(实体体验店)+物流(自营物流)
(4)项目行业：果蔬生鲜类
(5)商业模式 B2C 企业售卖商品给个人

8.项目业务介绍

门店业务：线下实体店、及时达(快递物流)、社区团购、三方平台(在第三方平台开设店铺)
线上商城：线上的B2C的网站
商品批发：app 经销商在app中下单采购
大客户团购：app 公司在app中下单采购
自营商品：商品贴牌
​
线下到线上：
    有线下的连锁商店，为了线上购物需求，开发了网站，app，小程序
    在三方平台开设店铺
    线下商店 根据规模不同可以商品批方