36、高级数据标注与增强：技术解析与实践策略

高级数据标注与增强：技术解析与实践策略

1. 合成数据、数据创建与数据增强

1.1 合成数据

合成数据在机器学习中有广泛应用，以信用卡号码扫描为例。当你在手机应用中添加信用卡号时，可选择拍照识别。识别信用卡号的模型很可能基于纯合成数据构建，无需人工标注。信用卡号原本是结构化数据，印在实体卡上后拍照，这是对 16 个数字的受限问题重构。由于隐私和安全问题，没有大量公开的扫描信用卡数据存储库。而且若数据科学家和标注员能看到实际卡片的扫描图像进行标注，会引发隐私和安全担忧。此外，若扫描失败，用户通常也能接受手动输入卡号。

1.2 数据创建

• 人工创建数据 ：解决数据不足的有效方法之一是让标注员创建数据。这在创建语音数据和文本数据时很常见。对于文本数据，虽不如自然文本真实，但总比没有数据好。
• 自动化数据创建技术 ：结合数据创建和合成数据的有趣技术包括用于图像的生成对抗网络（GANs）和用于文本的语言模型。例如，若需要自行车图片，可在现有自行车图片上训练 GANs 来创建新的逼真图片；也可训练语言模型生成包含特定短语或关于特定主题的新句子。不过，生成的数据很少 100% 准确，需要人工审核来筛选出真实的数据。
• 数据创建示例 - 疾病爆发数据 ：曾为创建疾病爆发相关数据集，让标注员想象自己正在经历疾病爆发，并使用基于规则的系统为每个标注员生成不同提示。规则会根据标注员是直接经历、目睹还是间接听说爆发，以及感染或暴露人数等因素来变化提示，以获得尽可能多的多样性，克服人工文本相对自然文本的局限性。