大数据项目之电商数仓、业务数据介绍、电商系统表结构

本文介绍了电商系统中涉及的34个核心业务数据表结构,包括订单表、用户表、SKU商品表等,详细解释了各表字段及用途,为理解和设计电商数据仓库提供了基础。

6. 业务数据介绍

6.1 电商系统表结构

  以下为本电商数仓系统涉及到的业务数据表结构关系。这34个表以订单表、用户表、SKU商品表、活动表和优惠券表为中心,延伸出了优惠券领用表、支付流水表、活动订单表、订单详情表、订单状态表、商品评论表、编码字典表退单表、SPU商品表等,用户表提供用户的详细信息,支付流水表提供该订单的支付详情,订单详情表提供订单的商品数量等情况,商品表给订单详情表提供商品的详细信息。本次讲解以此34个表为例,实际项目中,业务数据库中表格远远不止这些。

6.1.1 活动信息表(activity_info)

字段名 字段说明
id 活动id
activity_name 活动名称
activity_type 活动类型(1:满减,2:折扣)
activity_desc 活动描述
start_time 开始时间
end_time 结束时间
create_time 创建时间

6.1.2 活动规则表(activity_rule)

字段名 字段说明
id 编号
activity_id 活动ID
activity_type 活动类型
condition_amount 满减金额
condition_num 满减件数
benefit_amount 优惠金额
benefit_discount 优惠折扣
benefit_level 优惠级别

6.1.3 活动商品关联表(activity_sku)

字段名 字段说明
id 编号
activity_id 活动id
sku_id sku_id
create_time 创建时间

6.1.4 平台属性表(base_attr_info)

字段名 字段说明
id 编号
attr_name 属性名称
category_id 分类id
category_level 分类层级

6.1.5 平台属性值表(base_attr_value)

字段名 字段说明
id 编号
value_name 属性值名称
attr_id 属性id

6.1.6 一级分类表(base_category1)

字段名 字段说明
id 编号
name 分类名称

6.1.7 二级分类表(base_category2)

字段名 字段说明
id 编号
name 二级分类名称
category1_id 一级分类编号

6.1.8 三级分类表(base_category3)

字段名 字段说明
id 编号
name 三级分类名称
category2_id 二级分类编号

6.1.9 字典表(base_dic)

字段名 字段说明
dic_code 编号
dic_name 编码名称
parent_code 父编号
create_time 创建日期
operate_time 修改日期

6.1.10 省份表(base_province)

字段名 字段说明
id id
name 省名称
region_id 大区id
area_code 行政区位码
iso_code 国际编码
iso_3166_2 ISO3166编码

6.1.11 地区表(base_region)

字段名 字段说明
id 大区id
region_name 大区名称

### 商场景下实时数据仓库环境搭建 #### Hadoop 集群环境准备 为了构建一个高效的商实时数据仓库,首先需要建立稳定可靠的Hadoop集群环境。这一步骤不仅涉及硬件资源的选择与分配,还包括软件层面的优化配置,确保整个系统的性能达到最优状态[^1]。 #### Hive 数据仓库安装与MySQL集成 接着,在已有的Hadoop基础上部署与Spark兼容版本的Hive作为数据仓库工具,并将其元数据库(Metastore)存储于外部关系型数据库MySQL之中。这样做可以有效提升查询效率并便于管理复杂的数据结构;同时也方便不同应用间的数据交互和共享。 #### Kafka消息队列设置 考虑到未来可能存在的多种应用场景(如流处理),建议引入Apache Kafka来充当消息中间件的角色。通过Kafka收集来自各个渠道的日志信息或其他形式的数据源输入,从而形成一个高效稳定的传输管道,满足后续数据分析的需求[^2]。 #### Flume 和 Zookeeper 的作用 Flume用于从各种源头捕获日志文件并将它们可靠地传送到目的地——通常是HDFS或Kafka主题内。而Zookeeper则负责协调分布式应用程序中的节点通信和服务发现机制,对于维护集群健康至关重要。 #### Sqoop 迁移传统RDBMS至HDFS/Hive 借助Sqoop工具可实现将现有关系型数据库管理系统(Relational Database Management System, RDMBS),例如MySQL里的表结构及其对应的内容迁移到基于文件系统(HDFS)之上运行的新一代NoSQL解决方案—Hive里去。这一过程有助于打破孤岛式的烟囱架构,促进跨平台之间的协作交流。 #### ETL 流程设计:ODS 至 ADS 层级转换 针对具体业务逻辑定制化开发ETL(Extract Transform Load)作业链路,按照原始明细层(Operational Data Store, ODS)->轻度聚合层(Dimensional Model Layer, DML)>高度汇总层(Application Delivery Service, ADS)这样的顺序逐步提炼加工原始素材直至产出可供上层消费使用的成品报表视图。 ```sql INSERT INTO ods_table SELECT * FROM external_source; -- 各种清洗、过滤操作... INSERT INTO dml_table (SELECT ... FROM ods_table WHERE ...); -- 更复杂的计算、关联等变换... INSERT INTO ads_table (SELECT ... FROM dml_table GROUP BY ...); ``` #### 技术选型考量因素 当企业在评估采用何种云计算服务提供商时,成本效益是一个重要指标之一。以阿里云为代表的国内主流服务商提供了较为经济实惠的价格方案的同时还承担了大量的日常运营维护工作量,使得客户能够更加专注于核心竞争力培养方面的工作[^5]。
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Redamancy_06

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值