数据闭环服务

一.背景

　　在项目中，经常需要依赖第三方服务，比如通过rpc接口查询商品数据，然后把相关数据持久化到本系统数据库。这样会存在数据修改不同步的问题，因为卖家可以随时修改商品属性字段，但是下游系统如果不是实时查询接口，都将面临数据不同步这样的情况。

二.常规解决方案

　　最简单的做法可能是实时拉取数据，下游业务系统内存实时拉取数据再聚合完成相应的数据组装。这样就严重依赖上游接口，并且系统会出现很多冗余代码。特别是不同系统都要依赖相同接口的时候，每个系统都会实现接口调用，开发维护成本较高，不便于管理。在现有部门系统中，都会依赖商品接口，分类接口，货架组等等这些上游接口，这些接口都有一个共性，数据属性容易改变，下游系统未能及时同步，并且每个系统可能需要同步的字段各不相同。这些都会导致部门各子系统功能代码重复，相同或相关数据冗余存储，严重依赖第三方接口，降低了系统的可用性。

三.数据闭环

　　随着这样的依赖接口越来越多，业务系统各自为政，后期项目开展和维护始终会受制于此。于是乎，数据闭环提上日程。但是，该怎么做呢？ 个人愚见，可以借鉴数据仓库建设来进行设计：

      1.明确业务数据主题，元数据建模

　　2.实时(mq) or 定时异构同步元数据

　　3.内部数据清洗组合，生成业务数据

　　4.提供数据服务，赋能

　　这样的做的好处是：

　　1.统一管理三方依赖服务

　　2.提供数据闭环服务，与第三系统解耦，提高系统可用性

　　3.按需提供数据服务，灵活性强

　　4.避免数据冗余存储