23、数据清洗与验证：从基础到复杂应用

数据清洗与验证：从基础到复杂应用

1. 数据验证基础方法

在数据处理过程中，验证数据的有效性是至关重要的。对于具有较小唯一值域的数据，Python 的枚举类是定义允许值集合的便捷方式，使用枚举可以通过 pydantic 进行简单而严格的验证。例如，对于潮汐数据，我们可以定义如下枚举类：

import enum

class HighLow(StrEnum):
    high = 'H'
    low = 'L'

这个枚举类定义了两个字符串值 “L” 和 “H”，并提供了更易理解的名称 “Low” 和 “High”，pydantic 可以使用这个类来验证字符串值。

当数据存在大小写问题时，我们可以使用 BeforeValidator 注解类型进行数据清洗。示例如下：

from typing import TypeAlias, Annotated
from pydantic.functional_validators import BeforeValidator

TideCleanHighLow: TypeAlias = Annotated[
    HighLow, BeforeValidator(lambda text: text.upper())]

这里的注解类型提示描述了基础类型 HighLow ，以及在 pydantic 转换之前应用的验证规则，即使用 lambda 函数将文本转换为大写。 <