44、智能接口：提升人类智能与数据标注效率

智能接口：提升人类智能与数据标注效率

1. 语言生成中的智能接口

在语言生成的机器学习辅助标注示例中，相较于其他辅助标注示例，存在更大的偏差潜在风险。这是因为标注者在看到自动补全建议之前，可能尚未确定完整的文本段落内容。不过，我们可以对自动补全功能进行调整，使其仅在有足够信心认为只有一种可能的回复，或者一次只能自动补全有限数量的单词时，才显示后续单词序列。但这样做会降低效率，我们可以通过不显示句子补全预测，观察标注者是否能产生相同文本来测试这种效率损失。

预测性标注接口的有效性因用例而异。在客服回复场景中，包含正确信息的消息可能就足够了，而且有许多可行的选项，因此可以高效地选择一个足够好的回复。然而，在翻译场景中，如图所示，可能只有一个精确的翻译是正确的。在预测的句子中进行一两次编辑所花费的时间，往往比在无辅助界面中直接输入一个句子还要长。在翻译领域，编辑机器翻译输出被称为“后编辑”，据了解，这是唯一有自己的 ISO 标准（ISO 18587:2017）的人工参与标注接口。从专业翻译人员的在线论坛讨论中可以看出，其用户体验很差，大多数专业翻译人员更喜欢无辅助或辅助标注接口。

为了减少实现工作量，可以创建一种看似辅助接口的界面，其中文本序列预先计算好，但仅在有人开始输入时才显示。如果无法进行自动补全，用户体验也不会变差，因为用户可以在不中断工作流程的情况下继续无辅助输入。

裁决接口常用于评估其他标注者的工作质量。由于语言生成任务的自动质量控制较为困难，因此通过审查任务来裁决工作比使用真实示例或标注者间一致性检查更为常见。在语言生成任务中，通常使用人工审查或裁决来评估模型准确性，所以应该能够将人工标注和模型预测通过相同的工作流程，以评估人类和机器的输出。

2. 序列标注的智能接口

序列标注的接口选项与边界框标注的接口选项类似。在集成规模的一端，标注者可以在无辅助接口中突出显示序列；在另一端，可以裁决预测的序列。在两者之间，辅助接口允许标注者选择一个序列的中间位置，模型将预测其边界；而预测性接口将预测序列，并允许标注者接受或编辑它们。

许多序列标注任务就像大海捞针，相关序列的数量远远少于无关序列。即使筛选出与疫情相关的新闻文章，可能也只有不到 1% 的单词是疫情发生地点。因此，引入机器学习可以显著提高效率。

一种预测性标注方法是突出显示或下划线标注候选序列，但不预先标注它们。例如，标注者可能会看到一个潜在位置被下划线标注，但仍需点击或突出显示该序列才能进行标注。这种接口设计方法可以减少偏差，因为标注者不能再被动地接受机器学习预测作为标签，而是被迫与数据进行交互。此外，如果机器学习模型的错误只是建议而非预先选择的标注，标注者会更宽容这些错误。

通过下划线标注低置信度的标注，可以通过校准下划线显示的频率来减少标注者偏差。如果下划线标注的文本只有 50% 的正确率，标注者就不会轻易信任或拒绝任何一个预测，而是根据其优点来评估预测，这比预测性接口有很大优势，因为在预测性接口中，编辑 50% 的标注会很耗时，并且会对用户体验产生负面影响。

不过，如果标注者只关注下划线标注的候选序列，可能会错过未被标注的序列。因此，这种策略最适用于候选序列召回率接近 100%，但精度较低，需要仔细考虑才能信任预测的情况。图中所示的接口变体可以结合所有类型的接口，例如系统可以像裁决接口一样从一个候选序列跳到下一个，下划线标注低确定性的候选序列，并在裁决显示错误时退回到辅助和无辅助交互。

我们可以用以下表格总结不同类型的序列标注接口：
| 接口类型 | 操作方式 | 特点 |
| ---- | ---- | ---- |
| 无辅助标注 | 标注者从序列的一个边界开始，到另一个边界结束进行高亮 | 完全依赖人工，自主性强，但效率可能较低 |
| 辅助标注 | 标注者点击序列中间，模型预测边界 | 结合了人工和模型，提高一定效率 |
| 预测性标注 | 标注者面对模型预测的序列，可接受或编辑 | 效率较高，但可能存在偏差 |
| 裁决标注 | 标注者确认或拒绝提议的序列 | 用于评估和校准预测结果 |

下面是一个 mermaid 格式的流程图，展示序列标注的一般流程：

graph LR
    A[开始] --> B[选择接口类型]
    B --> C{是否为无辅助标注}
    C -- 是 --> D[手动高亮序列]
    C -- 否 --> E{是否为辅助标注}
    E -- 是 --> F[点击序列中间] --> G[模型预测边界]
    E -- 否 --> H{是否为预测性标注}
    H -- 是 --> I[接受或编辑模型预测序列]
    H -- 否 --> J[确认或拒绝提议序列]
    D --> K[结束标注]
    G --> K
    I --> K
    J --> K

3. 机器学习辅助人类流程

我们之前介绍了机器学习辅助人类任务和人类辅助机器学习任务的区别。在人机交互方面，对于机器学习辅助人类的情况，有一个重要原则：被机器学习辅助的人必须感知到他们的任务因机器学习而得到改善。

3.1 效率提升的感知

任务得到改善的感知在几个方面都很重要。只要不让人感觉到效率降低，即使机器学习的实际效率有所下降，也可能被接受。相反，如果一个人的效率确实提高了，但他们没有感知到这种改善，那么他们在将机器学习集成到日常任务中时，不太可能有积极的体验。

例如，曾推出过帮助医护人员更有效管理消息的系统，但医护人员没有感知到效率提升，导致该应用未被采用。而在对象跟踪的辅助接口系统中，尽管标注者的速度比对照组慢，但由于接口明显在尝试提供帮助，他们报告了更积极的用户体验。这表明在结合人类和机器智能的系统中，测量的性能和感知的性能之间存在差异。

一般来说，在引入机器学习之前，改变一个人的日常任务就很困难。当接口发生变化，且部分流程被机器学习自动化时，用户可能会担心自己的工作被机器取代，这种变化可能不受欢迎。因此，辅助接口是将机器学习添加到现有工作中的一个很好的起点。初始接口保持不变，标注者仍然拥有主动权，因为他们发起每个操作，而机器学习只是加速这些操作。

3.2 主动学习提高效率

主动学习可以在不改变接口的情况下提高工作效率。如果对更有可能改善机器学习模型的项目进行采样，可能不会对标注者的体验产生任何影响。使用多样性采样甚至可能改善标注者的体验，因为项目看起来不那么重复，从而通过减少重复启动效应提高准确性。然而，标注者对这种变化的感知可能较小，因为模型可能在后台通过主动学习变得更智能，但标注者不一定会因为采样策略而感知到工作速度的提升。此外，如果标注者以前能够决定工作顺序，而现在由主动学习决定，他们可能会感到失去了主动权。因此，在引入主动学习时，要注意不要剥夺任何功能。

3.3 错误比缺失更有利于实现完整性

当字段为可选时，完整性可能会成为一个问题。标注者可能为了方便而留下一些有有效回复的字段为空。对于不用于创建机器学习数据的业务流程，这种情况可能无关紧要，但如果该业务流程也需要创建训练数据，就可能成为问题，因为空字段在构建模型时可能会成为错误的负例。

当依赖最终用户进行标注时，这个问题很常见。例如，在电子商务网站上销售服装时，网站希望获取尽可能多的详细信息，如服装类型、颜色、尺寸、款式、品牌等。为了鼓励用户添加这些字段，可以利用人们对错误数据比缺失数据更反感的特点，使用预测性接口预先填充字段。

Cunningham 定律指出，获得问题正确答案的最佳方法是在网上发布错误答案，这一定律也适用于标注。如果想确保标注者为可选字段提供正确答案，用错误答案预先填充可能比留空更有效。但这是一个平衡的过程，如果人们对模型预测失去信任，或者觉得纠正太多错误会减慢速度，就会为了获取额外数据而产生负面的用户体验。因此，这种方法在最终用户间歇性添加数据而不是全职作为标注者工作时最为有效。

3.4 保持标注接口与日常工作接口分离

如果无法从人们的日常工作中获取足够数量或平衡的数据，可能需要引入新的工作接口。不要试图在现有工作流程中进行太多改变，而是将新接口作为现有接口的补充，并确保它们能够适应工作时间表。

可能需要裁决接口来解决标注者之间的分歧，或高效地标注大量机器学习预测。但如果取代了人们强大的无辅助交互能力，将他们限制在审查其他任务上，就会降低他们的主动权。因此，应将裁决接口作为附加接口，人们可以继续使用强大的接口并拥有完全的主动权来完成工作，同时有一个额外的接口选项可以快速进行标注。

正确定位的裁决接口可以增加使用它的人的主动权，因为它调用人们作为专家来解决其他人或机器感到困惑的领域，而不会剥夺他们使用完整标注能力的权利。裁决接口如何融入工作流程将因组织而异。标注者可以选择在他们选择的时间切换到裁决接口，或者为不同的标注接口分配专门的时间或人员。只要保持透明度并维护标注者的主动权，就应该能够以一种赋予人们权力的方式将机器学习融入日常任务。

总结

• 人机交互的基本原则，如可操作性和最小化滚动，适用于标注接口。理解这些原则有助于提高标注任务的效率。
• 良好的可操作性意味着元素应按其外观功能运行，对于标注，通常意味着使用现有的 HTML 表单元素来处理其预期的数据类型。
• 对于大多数任务，键盘是最快的标注设备，因此标注工具应尽可能使用键盘快捷键并支持基于按键的导航。
• 启动效应指任务的上下文如何改变标注者对项目的解释。标注中启动效应最常见的问题是项目顺序改变感知，特别是在情感分析等主观任务中。
• 要知道何时打破规则。大批量批量标注打破了避免滚动和平衡数据的惯例，但当无法显示平衡数据时，滚动可以减少启动偏差并加快标注速度。
• 除了手动无辅助接口外，还有三种可以使用机器学习的接口：辅助、预测和裁决。每种类型在标注效率、标注者主动权、标注质量方面都有优缺点，并且实现所需的工作量也不同。
• 辅助接口向标注者展示项目时不显示机器学习预测，仅使用机器学习加速标注者发起的操作。
• 预测性接口向标注者展示由机器学习模型预先标注的项目，并允许他们进行编辑。
• 裁决接口向标注者展示由机器学习模型预先标注的项目，并允许他们接受或拒绝标注。
• 在机器学习帮助人们完成日常工作的任务中，辅助标注接口通常最为成功，因为它们给予标注者最大的主动权。
• 在将机器学习集成到现有应用程序时，应尽可能少地改变当前的接口和工作流程。

智能接口：提升人类智能与数据标注效率（续）

4. 智能接口的应用与优化策略

在实际应用中，智能接口对于提升数据标注效率和质量起着关键作用。下面我们将详细探讨一些具体的应用场景和优化策略。

4.1 不同场景下的接口选择

不同的任务场景需要选择合适的接口类型，以达到最佳的效果。以下是一个表格，总结了不同场景下推荐的接口类型：
| 任务场景 | 推荐接口类型 | 原因 |
| ---- | ---- | ---- |
| 客服回复 | 辅助或预测性接口 | 有多种可行回复，可快速选择或编辑 |
| 翻译 | 无辅助或辅助接口 | 翻译要求精确，避免过多依赖预测 |
| 序列标注（大海捞针型） | 结合多种接口，如先预测性标注再裁决 | 提高效率并减少偏差 |

4.2 优化接口设计的步骤

为了设计出高效且用户体验良好的标注接口，可以按照以下步骤进行优化：
1. 需求分析 ：明确任务的目标、数据特点和用户需求。例如，对于语言生成任务，了解是否需要高精度的输出；对于序列标注任务，确定相关序列的比例和分布。
2. 选择接口类型 ：根据需求分析的结果，选择合适的接口类型，如辅助、预测或裁决接口。
3. 设计界面布局 ：遵循人机交互的基本原则，如可操作性和最小化滚动。使用现有的 HTML 表单元素，方便用户操作。
4. 集成机器学习模型 ：将机器学习模型集成到接口中，实现自动补全、预测边界等功能。
5. 测试与优化 ：进行用户测试，收集反馈意见，对接口进行优化。例如，调整自动补全的显示规则，减少偏差。
6. 持续改进 ：根据实际使用情况，不断改进接口设计，提高标注效率和质量。

4.3 主动学习的实施流程

主动学习可以提高工作效率，但需要合理实施。以下是主动学习的一般实施流程：

graph LR
    A[定义目标模型] --> B[选择采样策略]
    B --> C[采样数据]
    C --> D[标注数据]
    D --> E[更新模型]
    E --> F{模型是否满足要求}
    F -- 是 --> G[结束]
    F -- 否 --> B

具体步骤如下：
1. 定义目标模型 ：明确要训练的机器学习模型的类型和目标。
2. 选择采样策略 ：根据任务特点，选择合适的采样策略，如多样性采样、不确定性采样等。
3. 采样数据 ：从数据集中选择一部分数据进行标注。
4. 标注数据 ：使用合适的接口类型对采样的数据进行标注。
5. 更新模型 ：使用标注好的数据更新机器学习模型。
6. 评估模型 ：评估模型的性能，判断是否满足要求。
7. 重复步骤 2 - 6 ：如果模型不满足要求，继续采样、标注和更新模型，直到达到满意的效果。

5. 常见问题与解决方案

在使用智能接口和机器学习辅助人类流程的过程中，可能会遇到一些常见问题。以下是一些问题及相应的解决方案：

5.1 用户对机器学习预测失去信任

• 问题表现 ：用户认为模型预测不准确，不愿意使用预测性接口。
• 解决方案 ：
  • 提高模型的准确性，通过增加训练数据、优化模型结构等方式。
  • 提供解释机制，让用户了解模型预测的依据。
  • 调整预测性接口的设计，如只显示高置信度的预测。

5.2 标注者感到失去主动权

• 问题表现 ：标注者觉得自己的工作被机器控制，失去了自主决策的权利。
• 解决方案 ：
  • 采用辅助接口，让标注者发起每个操作，机器学习只起加速作用。
  • 允许标注者选择工作顺序，保留一定的自主权。
  • 提供反馈机制，让标注者能够对模型预测提出意见。

5.3 数据完整性不足

• 问题表现 ：标注数据中存在大量空字段，影响模型训练效果。
• 解决方案 ：
  • 使用预测性接口预先填充字段，利用 Cunningham 定律鼓励用户纠正错误。
  • 提供奖励机制，激励用户填写完整的数据。
  • 对空字段进行特殊处理，避免成为错误的负例。

6. 未来展望

随着人工智能技术的不断发展，智能接口和机器学习辅助人类流程将有更广阔的应用前景。未来可能会出现以下趋势：
- 更加智能化的接口 ：接口将能够根据用户的习惯和任务特点，自动调整预测策略和显示方式。
- 多模态数据标注 ：除了文本数据，还将支持图像、音频、视频等多模态数据的标注。
- 人机协作的深度融合 ：人类和机器将更加紧密地协作，共同完成复杂的任务。
- 个性化的用户体验 ：根据用户的不同需求和能力，提供个性化的标注接口和辅助功能。

总之，智能接口和机器学习辅助人类流程是提高数据标注效率和质量的重要手段。通过合理设计接口、实施主动学习和解决常见问题，可以更好地将机器学习融入日常工作，提升人类的智能和工作效率。同时，我们也应该关注未来的发展趋势，不断探索新的应用场景和技术，为人工智能的发展提供更加优质的数据支持。