大数据数仓建模（2）

最新推荐文章于 2025-06-18 19:42:14 发布

醉生梦是

最新推荐文章于 2025-06-18 19:42:14 发布

阅读量1.6k

点赞数 2

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/qq_42541963/article/details/109134803

本文详细介绍了电商大数据项目的需求，包括用户行为数据和业务数据的采集，数据仓库的维度建模，以及核心电商主题的报表指标分析。同时，讨论了技术选型、框架版本选择、服务器物理机与云主机的考量，以及集群规模的规划。重点提到了数据采集、存储、计算、查询工具和元数据管理等方面。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

大数据项目之电商数仓（用户行为数据采集）

第2章项目需求及架构设计

2.1项目需求分析项目需求：

一，项目需求
1. 用户行为数据采集平台搭建
2. 业务数据采集平台搭建
3. 数据仓库维度建模
4. 分析，用户，流量，会员，商品，销售，地区，活动等电商核心主题，统计的报表指标近100个。完全对比中型公司。
5. 采用即席查询工具，随时进行指标分析
6. 对集群性能进行监控，发生异常需要报警
7. 元数据管理
8. 质量监控

二，思考题
1. 项目技术如何选型？
2. 框架版本如何选型（apache，CDH，HDP）
3. 服务器使用物理机还是云主机
4. 如果确认集群规模？（假设每台服务器8T硬盘）

2.2项目框架
2.2.1技术选项（1）

（1）技术选型的时候；尽量选择成熟的技术，没有必要追求最新的技术：
mr：离线计算
hive：数仓，数据分析
spark：离线计算，实时计算
flink：实时为主。也可以做离线，实时性更好
nginx服务器做什么？
1.反向代理，负载均衡，虚拟主机。

技术选型
技术选型主要考虑因素：数据量大小，业务需求，行业内经验，技术成熟度，开发维护成本，总成本预算
* 数据采集传输：Flume，kafka，sqoop，Logstash，DataX
* 数据存储：MySQL,HDFS,HBase,redis,MongoDB
* 数据计算：Hive，Tez，spark，flink，storm
* 数据查询：Presto，Druid，Impala，Kylin
* 数据可视化：Echarts，Superset，QuickBI，DataV
* 任务调度：Azkaban，Oozie
* 集群监控：Zabbix
* 元数据管理：Atlas<