朱古力的博客

电商数仓(用户行为数据仓库 DWS/ADS层) 文章目录电商数仓(用户行为数据仓库 DWS/ADS层)1. 业务知识准备1.1 业务术语1.2 系统函数1.2.1 collect_set 函数1.2.2 日期处理函数2. 需求一：用户活跃主题2.1 DWS 层：服务数据层2.1.1 每日活跃设备明细2.1.2 每周活跃设备明细2.1.3 每月活跃设备明细2.1.4 DWS 层加载数据脚本2.2 ADS 层：数据应用层2.2.1 活跃设备数2.2.2 ADS 层加载数据脚本3. 需求二：用户新增主题3.1 D

电商数仓(用户行为数据仓库 ODS/DWD层) 1. 数仓分层概念 1.1 为什么要分层？ 把复杂问题简单化： 将一个复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，简单且方便定位问题。 减少重复开发： 规范数据分层，通过中间层数据，能过减少极大地重复计算，增加一次计算结果的复用性。 隔离原始数据： 不论是数据的异常还是数据的敏感性，使真实的数据与统计数据解耦开。 1.2 数仓分层 1.2.1 分层结构图 1.2.2 各层介绍 ODS (Operation Data Store) 原始数据层

电商数仓(数据采集模块) 写在前面：本文是我在学习电商数仓项目的过程中，对相关知识点的记录与总结。 文章目录电商数仓(数据采集模块)1. Hadoop 安装1.1 安装 Hadoop1.2 Hadoop 集群启动停止脚本2. Zookeeper 安装2.1 安装 ZK2.2 ZK 集群启动停止脚本3. 日志生成3.1 日志启动3.2 集群日志生成启动脚本3.3 集群时间同步脚本3.4 集群查看所有进程脚本4. Flume 采集日志4.1 安装 Flume4.2 日志采集 Flume 配置4.3 日志采集

电商数仓(架构设计、用户行为数据生成脚本) 写在前面： 本文是我在学习电商数仓项目的过程中，对相关知识点的记录，总结。 1. 数据仓库的概念 数据仓库，英文名称为 Data Warehouse ，可简写为 DW 或 DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。 摘自百度百科。 2. 项目需求及架构设计 2.1 项目需求