28、数据标注：从人力协作到质量把控

数据标注：从人力协作到质量把控

1. 与数据标注人员合作

在数据标注工作中，主动学习和迁移学习能够减少所需标注的项目数量。不过，其阶跃函数仍近似呈指数形式，只是指数 N 相对较低（例如 N = 1.2）。对于具有大量标签的任务或复杂任务（如全文生成，此时 N 可能为 3），可能需要更多的标注量。在这种情况下，可认为阶跃函数仍近似呈指数形式，但 N 值更高。

当实际的标注数据开始涌入时，就可以绘制准确率的真实增长曲线，从而更精准地估算所需的数据量。绘制的准确率增长曲线（或误差降低曲线）被称为模型的学习曲线。不过要注意，这里的“学习曲线”有两种含义：既可以指随着数据量增加而提高的准确率，也可以指单个模型收敛过程中准确率的提升。这两种情况是不同的。

即便有了自己的数据，也应牢记收益递减的规律。最初的 100 或 1000 次标注可能会使准确率快速上升，这令人兴奋，但之后准确率提升的速度会明显变慢，这是很常见的情况。此时，不要急于调整算法架构和参数，因为如果能看到随着数据量增加准确率仍在提高，只是提升速度呈指数级放缓，那么这个模型可能正按照预期运行。

2. 预计一到四周的标注培训和任务细化时间

当机器学习模型准备就绪，且已证明其在流行的开源数据集上有效时，就可以开始为应用获取真实的标注数据了。但如果没有同步制定好标注策略，可能需要等待几周时间。等待固然令人沮丧，但建议同时开展数据和算法策略的工作。

如果发现实际数据与最初试点的开源数据集差异过大（例如某些标签极为罕见，或者数据的多样性更高），可能需要重新设计机器学习架构。因此，不要急于进行标注。若为了快速出结果而仓促标注，后续可能需要舍弃这些标注数据，因为缺乏质量控制会导致错