数据分析的工作日常——如何做出高质量的数据？

“数据”作为大数据时代的重要社会资源，对于企业的发展以及数字化转型的重要性越发明显。更多企业重视数据的力量，并专门设置了数据分析师岗位，专人专事；并设计了复杂的数据质量框架，采用先进的分析技术和方法，确保数据质量管理快速准确，满足所有业务对于高质量数据的需求。

由此，数据的重要性可见一斑。

不过数据分析师面对的数据量常常是非常庞大的，数据类型也是非常繁杂的；需要在海量的数据中分析清洗筛选出有价值的数据，这个过程中难免会出现一些问题，比如人为的错误、过时的数据或者错误的数据等因素造成了数据质量问题。对于企业来说可能会间接或者直接造成经济损失或增加经营风险。

那么常见的数据质量问题有哪些呢？

1、人为错误。我们已知通常人类在输入10,000个数据时至少会犯400个错误。所以人为的错误输入或拼写错误，都是最常见的数据质量错误来源之一，即使存在唯一标识符、验证检查和完整性约束，人为错误仍有可能产生造成数据质量问题。

2、数据不完整。数据完整性是指数据集中存在必要的字段，根据企业实际需求设定数据模型，比如必填字段、选择性字段、特定情况下不适用的字段等。必填字段都必须填写完整以确保数据的完整性，其他非必填项可以选择填写。所以并不是所以数据都需要被填写，有空格也不是数据不完整。

3、数据属性缺乏唯一性。数据模型没有明确的定义，比如相同的名称有多列、不同名称多列、标题不明确、空白列没有及时清理、存在不被使用的列等等。数据集中的属性管理不善会造成数据不可用。

4、缺乏数据记录的唯一性。一般数据分析师用于捕获、管理、存储和使用数据的应用程序数量庞大且种类繁多，不可避免会有同一信息重复记录的现象，最终造成数据质量的降低。这种错误需要运行高级数据匹配算法来比较两个或多个记录并计算它们属于同一实体的可能性。

5、缺乏数据关系约束。一个数据集通常会涉及到多个数据，数据之间需要定义关系和强制执行等关系，比如父/子（超类型/子类型）关系，确保数据的完整性。反之则降低了数据完整性和质量。

6、参照完整性。数据记录与其引用对应物是真实的，数据的正确性需要完整参照，防止创建出不正确的数据报告，导致执行错误结果。

7、数据需要验证约束。验证约束确保数据值有效且合理，并根据定义的要求进行标准化和格式化，比如符号、字符的使用标准；名称长度；名称的输入规范；符号使用标准等。大多数数据质量问题都是由于缺乏验证约束造成的。

如何提高数据质量，为企业创造价值？

如何提高数据质量，确保数据为企业服务。根据不同企业的不同需求，大致总结出几点影响数据质量的通用因素：

1、数据质量的评定标准：准确性（数据描述的现实正确性如何）、一致性（不同的数据存储是否对相同的记录具有相同的数据值）、可用性（数据是最新可用的吗）、及时性（请求的数据多快可用）、完整性（数据是否如所需要的那样全面 ）、合理性（数据值是否具有正确的数据类型和大小）、可识别性（是否每条记录都代表一个唯一的身份并且不是重复的）等等。

2、严格执行数据质量管理流程：数据剖析、数据清理和标准化、数据匹配、重复数据的删除、数据合并与生存、数据治理、地址验证。

3、建立健全数据质量管理框架：数据质量框架是一个系统的过程，它持续监控数据质量，实施各种数据质量过程。具体包括评估、设计、执行、监控四个部分。

4、数据质量工具的完善：为进一步确保数据质量，企业也直接采用技术方案保障企业生产力和数据质量框架的顺利实施。常见的技术工具：数据质量API或SDK、嵌入式数据管理工具保障数据质量、独立自助式数据质量软件等。

5、数据的参与者也是影响数据质量的重要因素，比如首席数据官（CDO）、数据管理员、数据保管人、数据分析师以及其他团队（销售、产品等业务团队）。每个数据参与者都能影响到数据的质量。

数据分析发展前景广阔，目前的市场人才供不应求。

随着数字经济增长速度的回升，数据分析在近三年也得到更多企业的重视，招聘需求呈明显上升趋势，技术人才供不应求。

目前数据分析新手的平均薪资在8k左右，并且就业的单位都是以中大型企业为主，发展平台广阔。

数据分析岗位技能要求：

常见的工具：Excel、Power BI、SQL、Python及描述统计和推断统计。

数据分析的思维和方法的培养：常见的十大数据分析方法的掌握（多维度拆解分析法、对比分析法、假设检验分析法、相关分析法、群组分析法、RRM分析法、AARRR模型、漏斗分析法、回归分析法、逻辑树分析法）；指标体的搭建（包括理解数据、用户数据指标、指标选择、建立指标体系等内容）；制作数据分析报告（5W2H方法、金字塔原理、SCQA方法等）。

最后

如果对数据分析感兴趣的小伙伴，2023年是进入行业的好时机，疫情放开，经济开始复苏，各行各业都在整装待发，向数字经济时代迈进。如果你勇于挑战自己挑战风口行业，欢迎加入我们！