钱大妈数据中台建设最佳实践

简介：钱大妈数据中台建设最佳实践

公司简介

钱大妈是在社区生鲜连锁中，以"不卖隔夜肉"作为品牌理念的的行业开拓者。在成立之初即从新鲜角度重新梳理传统生鲜行业的标准，对肉菜市场进行新的定义。通过尝试和验证"日清"模式，以及"定时打折"清货机制，坚定落实不隔夜销售。

截至2021年5月，钱大妈已全国布局近30座城市，门店总数突破3000家+，服务家庭超1000万+，经营蔬菜、水产、水果、猪肉类、肉类（非猪肉）、蛋奶、加工食品、综合标品八大生鲜品类，逾500种优质产品。 而"不卖隔夜肉"的理念，回归最朴素的目的：让消费者能买到新鲜的食物。践行这一理念，除了依赖强大的供应链系统，更离不开科学技术和数字化建设的支持。

项目背景

钱大妈全渠道数据中台主要承载交易侧数据，贴近业务一线为业务赋能。现数据中台已为3000家+门店提供在线数据服务，支撑各部门运营、业务人员在智慧中台进行数据分析、挖掘数据背后的业务价值，并作为钱大妈首个支持实时计算、首个完成数据埋点的团队，从数据驱动业务理念为出发点，为钱大妈业务发展保驾护航。

而项目初期，在极端情况下只有一个产品、一个技术的人员配置情况下，一个月内背靠背完成项目初期的基础建设，包括但不限于：数仓规划、技术架构、维度建模、数据指标、数据开发等一系列工作，那么我们团队是如何在有限的人力资源下进行破局的呢？下面请听我娓娓道来。

数据中台建设

架构和中间件的选型，影响数据中台建设过程中后续的开发流程和运维复杂度，而目前开源的大数据组件可谓是遍地开花，每个组件都各有特色，但是它们在大数据的体系化方面又各有各的玩法。

琳琅满目的大数据组件组合方案：

本着以业务为导向的原则，我们希望整个架构易于运维管理，功能性尽可能统一，以便将更多的精力和时间用在业务思考和数据赋能的应用上。

• 我们的硬需求：离线计算引擎，实时计算引擎，OLAP数据库，KV数据库，数据集成组件，分布式存储系统
• 我们的软需求：计