44、智能接口：提升人类智能与数据标注效率

智能接口：提升人类智能与数据标注效率

1. 语言生成中的智能接口

在语言生成的机器学习辅助标注示例中，相比其他辅助标注示例，存在更多的偏差可能性。这是因为标注者在看到自动补全建议之前，可能还未确定完整的文本段落内容。不过，我们可以对自动补全功能进行调整，使其仅在有足够信心认为只有一个可能的响应，或者一次只能自动补全有限数量的单词时，才显示后续单词序列。但这样做会降低效率，我们可以通过不显示句子补全预测，观察标注者是否能生成相同文本来测试这种效率损失。

预测性标注接口的有效性因用例而异。以客户服务响应为例，只要消息包含正确信息就足够了，而且有很多可行的选项，因此可以高效地选择一个足够好的响应。然而，对于翻译任务，如图所示，可能只有一个精确的翻译是正确的。在预测的句子中进行一两次编辑所花费的时间，往往比在无辅助界面中直接输入句子还要长。在翻译领域，编辑机器翻译输出被称为“后编辑”，据了解，这是唯一有自己 ISO 标准（ISO 18587:2017）的人机交互标注接口。从专业翻译人员的在线论坛讨论中可以看出，用户体验非常糟糕，大多数专业翻译人员更喜欢无辅助或辅助标注接口。

为了减少实施工作量，可以创建一种看似辅助接口的界面，其中文本序列预先计算好，但仅在有人开始输入时才显示。如果无法进行自动补全，用户体验也不会变差，因为用户可以在不中断工作流程的情况下继续无辅助输入。

裁决接口常用于评估其他标注者的工作质量。由于语言生成任务的自动质量控制较为困难，因此通过人工审查或裁决来评估模型准确性更为常见。我们应该能够将人工标注和模型预测通过相同的工作流程，以评估人类和机器的输出。

2. 序列标注的智能接口

序列标注的接口选项与边界框