数据准备是数据管理中最耗时的领域。它也是昂贵的。
据《信息周刊》报道,“调查显示,绝大多数时间都花在了这项重复性的工作上,一些人估计,这项工作占用了数据专家80%的时间。”Trifacta的一份研究报告指出,过度依赖IT资源进行数据准备会让企业付出数十亿美元的代价。
收集数据的能力可以有多种形式,但在世界各地的IT商店中,最常见的是电子表格,或者更确切地说,电子表格的集合通常有成百上千个。
大多数组织,特别是那些在数字经济中竞争的组织,没有足够的时间和金钱来使用手工流程进行数据管理。
外包也很昂贵,不可避免地会出现延迟,因为这些供应商也依赖于手工流程。
花费时间和精力准备数据:自动化数据准备/数据映射的10个理由。
1、治理和基础设施
数据治理和强大的IT基础架构在数据的评估,创建,存储,使用,归档和删除中至关重要。 除了知道数据来自何处以及是否可信任的简单能力之外,还有一个法定报告和合规性要素,通常需要了解相同数据(已知或未知,受治理与否)的变化情况 随着时间的推移。
一个允许数据沿袭,影响分析,完整历史记录捕获和其他数据管理功能等洞察的设计平台可以提供一个中心枢纽,从中可以学习和发现有关数据的所有内容 - 无论是数据湖,数据库,还是 传统的仓库。
2、消除人为错误
在传统的数据管理组织中,excel电子表格用于管理传入的数据设计,或称为“pre-ETL”映射文档 - 这不会带来任何可见性或可审计性。事实上,这些“映射文档”中表示的每个工作单元在整个系统开发生命周期中成为一个独立的变量,因此几乎不可能从更少的标准化中学习。
在任何练习中创造准确性和完整性的关键是消除人为错误的机会&