数据仓库组件Data-Stash：助力区块链节点“轻装上阵”

当下，数据在全球经济运转中的价值日益凸显，与传统的土地、劳动力、资本、技术等并列，成为重要生产要素。

数据最终的价值来源于治理。只有经过采集、清洗、分析和处理后的数据，才能在流通中更顺畅地使用，其价值才能得到更充分地挖掘。同时，随着区块链技术的蓬勃发展，区块链渐趋规模化应用，链上数据总量呈指数级增长，其中蕴藏的巨大价值，也需要通过高效、规范的数据治理，才能得到充分彰显。

在区块链数据治理方面，微众银行区块链基于多年技术研究和应用实践经验，研发了一套数据治理通用组件（WeBankBlockchain-Data），多维提升开发、运营、运维效率，实现数据从要素到资源的转化。

目前，该套组件由数据仓库组件(Data-Stash)、数据导出组件(Data-Export)、数据对账组件(Data-Reconcile)三个相互独立、可插拔、可灵活组装的子组件构成，所有代码和文档均于2020年12月正式对外开源。详情可参考开源公告。

三个子组件面向不同角色解决相应的数据治理需求，业务、运营、开发、运维等不同角色，如何快速上手使用？我们将通过系列文章，抽丝剥茧解析每一个子组件的关键特性和使用方式。本文介绍数据仓库组件Data-Stash，欢迎大家积极体验并将使用诉求或优化建议反馈给我们。

  认识Data-Stash

随着区块链业务不断运行，累积的海量链上数据会对区块链节点乃至网络的运维带来挑战。

从磁盘容量来看，由于节点容量有限，持续膨胀的数据要求磁盘不断扩容。

从交易性能来看，过多的数据会带来交易执行性能的衰减。

从节点同步来看，大量的数据同步会引出网络带宽被侵占、同步速度缓慢等问题。

数据仓库组件Data-Stash为上述难题提供解决方案，通过为节点在外部生成全量数据备份，实现海量数据高效治理。

具体而言，节点通过数据裁剪实现冷热数据分离，链上仅保留热数据，冷数据则通过全量备份获取，以此节省节点空间。冷热数据分离后，交易的验证、执行仅依赖于链上热数据，从而提升交易执行性能。

对于新节点加入网络后数据的同步，只需要从全量备份拉取数据，实现数据高效同步，其间不占用区块链网络带宽，免去冗长的同步过程，减少节点数据同步的等待时间，使得节点可以快速加入区块链网络并正常工作。

目前该组件支持区块链底层平台FISCO BCOS v2