Task03:数据重构
数据从一种几何形态到另一种几何形态,数据从一种格式到另一种格式的转换,包括结构转换、格式转换、类型替换等(数据拼接、数据裁剪、数据压缩等),以实现空间数据在结构、格式、类型上的统一,多源和异构数据的联接与融合。
重构前存在的问题
一、使用难:主题表是由领域应用驱动设计的,定制性比较强,没有很好地考虑扩展和通用性,需求变化就很难重用。基于这些表进行再次汇聚、关联都比较困难。
二、质量差:相同指标在不同领域中的算法不统一,常存在数据一致性问题,数据质量差。
三、性能低: 所有的主题表都需要从原始表开始处理,不同主题数据之间存在很多相似的重复计算,整体性能低下。
四、开发慢: 应用需求的变化导致主题表结构频繁变化,并且需要从原始表重新处理,改动大,响应需求慢。
stack
df_obj = pd.DataFrame(np.random.randint