在这里简单记录一下电商离线数仓的学习过程 项目整体架构 技术选型 前期准备 第一部分：数据生成 数据记录类型 用户行为日志格式 模拟数据 一、项目初步了解 二、数据采集模块 1.行为日志采集 2.业务数据采集 2.1 业务数据数据同步规划 2.2 全量表同步实现 2.3 增量表同步实现 2.4 数据采集模块总结 三、数据仓库 1.数据仓库设计 1.1 指标体系分析 1.2 数据仓库环境准备 2.ODS层设计开发 3.DIM层设计开发 3.1 DIM层实现 4.DWD层设计开发 4.1 DWD层工具域事实表实现 4.2 DWD层互动域事实表实现 4.3 DWD层流量域事实表实现 4.4 DWD层用户域
本文详述了一个离线数仓项目的初步了解，涵盖数据采集、数据仓库设计、全流程调度和技术选型。数据采集涉及行为日志和业务数据，数据仓库包括ODS、DIM、DWD、DWS和ADS层的详细设计。技术选型包括Flume、DataX、Hive等，项目初期准备工作涉及Hadoop集群的搭建和相关软件安装。
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
