28、数据标注的实用指南与质量控制

数据标注的实用指南与质量控制

1. 数据标注量的优化与预估

在数据标注工作中，主动学习和迁移学习能够减少所需标注的项目数量。不过，其步长函数仍近似呈指数形式，只是指数 N 相对较低（例如 N = 1.2）。对于具有大量标签的任务或复杂任务（如全文生成，此时 N 可能为 3），可能需要更多的标注量，此时步长函数依然近似指数形式，但 N 值更高。

当实际的标注数据开始涌入时，我们可以绘制准确率的真实增长曲线，从而更精准地预估所需的数据量。这个绘制出来的准确率增长曲线（或者误差降低曲线）被称为模型的学习曲线。不过需要注意的是，“学习曲线”这个术语有两种含义，既可以指随着数据量增加准确率的提升，也可以指单个模型收敛过程中准确率的提升。所以当机器学习框架展示学习曲线时，要明确其具体所指。

即便有了自己的数据，也应牢记收益递减的规律。最初的 100 或 1000 条标注可能会使准确率迅速上升，但之后准确率的提升会变得缓慢。此时，不要急于调整算法架构和参数，因为如果能看到准确率随着数据量增加而提升，只是提升速率呈指数级放缓，那么模型可能正按预期运行。

2. 标注训练与任务细化的预期时间

当机器学习模型准备就绪，并且在流行的开源数据集上验证可行后，就可以开始引入真实的标注数据了。但如果没有同时制定好标注策略，可能需要等待几周时间。建议同时开展数据和算法策略的工作。

若发现实际数据与最初试点的开源数据集差异较大（例如某些标签非常罕见，或者数据多样性更高），可能需要重新设计机器学习架构。标注工作切勿操之过急，若为追求快速结果而仓促进行标注，后续可能因缺乏质量控制而产生大量错误，不得不舍弃这些标注数据。

通常需要与数据