《大数据导论》之数据生命周期和数据使用

1 数据生命周期

数据都存在一个生命周期，数据生命周期是指数据从创建、修改、发布利用到归档/销毁的整个过程。

1.1 数据生命周期管理工作包括以下几个方面：

• 分类：对数据进行自动分类，分离出有效的数据，对不同类型数据制定不同的管理策略，并及时清理无用的数据。

• 存储：构建分层的存储系统，满足不同类型的数据对不同生命周期阶段的存储要求，对关键数据进行数据备份保护，对处于生命周期末期的数据进行归档并保存到适合长期保存数据的存储设备中。

• 管理：根据不同的数据管理策略，实施自动分层数据管理，即自动把不同生命周期阶段的数据存放在最合适的存储设备上，提高数据可用性和管理效率。

1.2 数据生命周期管理的作用

• 降低数据安全风险

• 降低数据维护成本

• 提高数据质量

2 数据的使用

​2.1 数据清洗

任何数据分析计划的第一步就是数据清洗，也就是把数据变成一个可用的状态。这个过程需要借助于工具去实现数据转换，比如古老的Unix工具AWK、XML解析器和机器学习库等，此外，脚本语言，比如Perl和Python，也可以在这个过程发挥重要的作用。完成数据的解析，就要开始关注数据的质量。对于来源众多、类型多样的数据而言，数据缺失和语义模糊等问题是不可避免的，必须采取措施解决。