15、数据处理与验证方案全解析

数据处理与验证方案全解析

在数据处理和机器学习模型开发中，数据质量和验证方案是至关重要的环节。下面我们将详细探讨不同场景下的数据处理和验证方法。

1. 数据质量问题与ETL流程

在处理交易、库存和促销数据时，这些数据可能包含缺失值或重复值，因此在聚合之前需要进行额外的过滤或预处理。对于购买的外部数据，虽然已经经过清洗和一定的质量控制，但仍需进行必要的检查。此外，竞争对手的价格数据仅覆盖约25%的SKU且存在缺口。

最终的ETL流程如下：
1. 每日对交易数据进行聚合。
2. 将新聚合的分区添加到交易聚合表中。
3. （可选）重写最后一天以及前2到3天的数据，以修复可能的数据损坏（如重复数据、不完整数据等）。
4. 根据日期、产品ID或商店ID，将其他内部/外部数据源进行连接。
5. 最后，基于连接后的数据集计算特征。
如果需要，还可以添加产品嵌入的数据管道。

2. PhotoStock Inc.的数据集设计

2.1 数据集与数据源

• 描述数据集 ：可用于PhotoStock Inc.搜索引擎的一个潜在数据源是库存库中每张照片相关的数据，包括标签、描述等，还应包含实际照片和缩略图的URL，建议命名为“描述数据集”。
• 点击数据集 ：用户提交的搜索查询也是一个重要数据源，结合用户点击行为，能为ML模型开发提供重要信息。扩展版本的数据集还可包含用户在照片页面停留时间和是否购买等信息，建议命名为“点击数据集”。