26、自动化标注：方法、权衡与实践

自动化标注：方法、权衡与实践

在数据标注领域，自动化方法正变得越来越重要。它不仅能提高效率，还能提升标注的准确性。然而，要想充分发挥自动化的优势，需要对各种方法有深入的了解，并根据具体情况进行合理的选择和应用。

1. 评估自动化使用情况

在考虑使用自动化方法时，需要评估组织对自动化的使用情况。可以通过以下几个基准问题来进行评估：
1. 对常用方法的了解程度 ：是否了解所有常用的自动化方法？在与自身情况相关的方法中，实际使用了多少百分比？例如，如果有四种可用方法，而你全部使用，那么在战略层面上，你已经做得很好了。
2. 标注人员的工作感受 ：通过调查了解标注人员对自己工作独特性的感受。他们是觉得在进行小的调整，还是在每次标注中都增加了基础价值？这可以是定量的评估，但关键是要摆脱那些容易被操纵或有噪声的低层次指标。
3. 自动化方法的投资回报率（ROI） ：考虑所有成本，包括硬件、供应商成本、管理和数据科学成本等。对于收益，如果可能的话，尝试实际的次优替代方案。这需要清晰地进行比较。

2. 确定自动化的范围

确定自动化的范围非常重要，就像选择合适的割草机来修剪草坪一样。如果草坪很小，选择大型的割草机可能会导致成本过高，而收益却不明显。在确定自动化范围时，可以考虑以下问题：
1. 技术集成需求 ：自动化是否需要技术集成？能否通过用户界面（UI）或向导来完成？
2. 启动和维护成本 ：预期的启动和维护成本是多少？
3. 现成方法的适用性 ：现成的方法是否适合我们的需求？是否需要编写专门的自动化程序？

3. 考虑修正时间

在使用自动化方法时，修正时间往往容易被忽视。如果一种自动化方法会导致大量的修正工作，那么最终可能并不能节省时间。例如，在使用空间加速方法时，可以尝试直接通过跟踪对象来绘制多边形点。在考虑修正时间后，确定哪种方法实际上更快。

以下是一个绘制时间与修正时间的比较示例：
| 工具 | 绘制时间 | 修正时间 |
| — | — | — |
| 跟踪轮廓 | 17 秒 | N/A |
| 魔法工具自动化 | 3 秒 | 23 秒 |

从这个表格可以看出，魔法工具虽然绘制时间短，但修正时间长，实际上可能更慢。

4. 主题专家的作用

几乎所有的自动化方法最终都需要一定程度的主题专家知识。主题专家不一定需要亲自进行每一次标注，他们可以指导他人如何对特定部分进行标注、使用工具等。而且，在某些情况下，可以对比不同程度的专业知识。例如，许多医学放射学标注可以由技术人员、助理、住院医生等完成，不一定需要全职放射科医生或放射学教授。

5. 自动化方法的叠加

许多改进方法可以叠加使用，以达到积极的效果。但需要注意的是，就像同时服用多种药物一样，这些方法之间的相互作用和副作用研究还不够充分。这可能会导致难以确定的错误，增加故障排除的难度，并产生额外的成本。

6. 预标注

预标注是将预测插入到训练数据集中的过程，是一种流行且通用的自动化概念。预标注通常有以下三个常见目标：
1. 减少改进模型的工作量（标准预标注） ：通过预标注，可以减少对容易样本的重复标注，将人力集中在困难的案例上。
2. 纠正或调整现有模型的结果（QA 预标注） ：对现有模型的结果进行检查和修正，提高模型的准确性。
3. 在现有基线预测的基础上添加自定义注释（自定义数据预标注） ：为数据添加额外的信息，丰富数据集。

6.1 标准预标注

假设我们有一个能够较好地预测人脸的模型，但有时会出现失败的情况。为了改进这个模型，我们可以使用预标注的方法。具体过程如下：
1. 模型进行预测。
2. 人类与预测结果进行交互。
3. 用新数据更新模型，完成“循环”。

在这个过程中，标注人员需要验证正确的样本，并且验证时间应该小于从头创建样本的时间，这样才能使这种方法有效。标准预标注的一般主题是随着时间的推移，将人类用户的注意力集中在困难的案例上。

6.2 预标注的好处

• 通用性 ：适用于几乎任何可以预测的事物，不局限于特定的方法或领域。
• 概念清晰且易于实现 ：现有系统（通常是模型）生成预测，然后展示给用户进行审查和添加更多数据。由于这些系统可以随时生成预测，并在以后进行审查，因此存储、加载和展示这些数据相对简单。
• 质量保证（有时） ：在某些情况下，如模型生成预测时，预标注可以作为质量保证控制。它确保人们查看实际的预测结果，而不是其他更隐蔽的自动化方法。

6.3 预标注的注意事项

• 需要现有相关模型（或系统） ：预标注需要一个“初始”模型或系统来生成数据。虽然有些方法和上下文只需要少量数据即可开始，但这仍然是一个障碍。
• 可能引入新的错误模式、不良反馈循环和收益递减 ：容易错过看起来正确但实际上错误的内容，并且可能通过不良反馈循环强化错误。当模式难度不匹配时，预标注可能会出现收益递减的情况。
• 有时可能更慢或具有误导性 ：在某些情况下，编辑可能比从头创建新事物更慢。而且，预先存在的模型在自动化价值方面可能具有误导性，需要清楚模型已经训练的数据，以区分实际的新工作和现有数据。

6.4 仅对部分数据进行预标注

可以使用不同的模型对部分数据进行预标注，例如顶级标签或空间位置等。用于预标注部分数据的模型通常不适合作为实际的主要模型，因为它可能过于狭窄或过于庞大、计算密集且不可预测。这种方法的一个扩展是使用模型预测已知的内容，并将其作为预测未知内容的起点，例如划分职责（如空间信息和属性更新）。

6.5 预标注的步骤

要开始预标注，可以按照以下步骤进行：
1. 识别现有的模型。
2. 将模型的数据映射到训练数据系统。
3. 使用现有数据创建任务。
4. 进行标注。
5. 查询并使用数据重新训练新模型。

7. 交互式标注自动化

交互式自动化用于减少用户界面（UI）的工作量。概念上，当人类清楚正确答案时，我们试图将这个概念更快地输入到系统中。例如，用户知道对象边缘的视觉位置，但可以通过引导交互式分割系统来代替跟踪整个轮廓。流行的示例包括 SAM（Segment Anything Model）、框转多边形（如 GrabCut、DxtER）和跟踪算法。

7.1 交互式自动化的过程

交互式自动化的过程通常包括以下三个步骤：
1. 用户生成初始交互。
2. 过程运行（通常在几秒钟的时间范围内）。
3. 用户审查结果。

与其他方法相比，交互式自动化的关键测试是，如果没有某种初始用户输入，该过程就无法运行。而全图像或全视频方法可以在没有直接用户输入的情况下作为后台计算运行。

7.2 交互式自动化的优缺点

优点

• 对于复杂的空间位置，非常有效。
• 通常不需要经过训练的模型或现有模型。

缺点

• 有时可能是“重复造轮子”。例如，如果有一个擅长检测人的模型，使用它可能比手动识别每个人更好。
• 通常需要更多的用户培训和耐心。有时这些方法运行时间过长，实际上并不能节省太多时间。
• 要使这些方法有效工作，通常需要除了连接输入/输出之外的某种工程工作。

7.3 创建自己的交互式自动化

一些工具提供集成方法或现成的解决方案，但可能无法修改其工作方式。Diffgram 提供了一个编译器，使你能够编写自己的自动化程序。这意味着你可以使用自己的模型、最新的开源模型，并根据需要调整参数。

在技术设置方面，使用开源 Diffgram 的自动化库，示例代码均为 JavaScript。为了简洁起见，大多数示例是伪代码，完整的可执行代码示例请参考链接示例。

总之，自动化标注方法为数据标注带来了诸多便利和效率提升，但在实际应用中需要根据具体情况进行合理选择和权衡。通过评估自动化使用情况、确定合适的范围、考虑修正时间、发挥主题专家的作用、合理运用预标注和交互式自动化等方法，可以更好地实现数据标注的自动化，提高工作效率和质量。

8. 自动化标注的综合应用与实践案例

8.1 案例一：医疗影像标注

在医疗影像标注领域，自动化标注方法的应用可以显著提高标注效率和准确性。例如，在医学放射学中，使用预标注和交互式自动化相结合的方法可以大大减轻标注人员的工作量。

• 预标注阶段 ：利用现有的医学影像模型对影像进行预标注，标记出可能的病变区域。例如，一个基于深度学习的肺部结节检测模型可以对胸部 CT 影像进行预标注，标记出可能的结节位置。标注人员只需对预标注的结果进行验证和修正，而不需要从头开始标注每一个影像。
• 交互式自动化阶段 ：当标注人员需要对病变区域进行更精确的标注时，可以使用交互式自动化工具。例如，使用 SAM 模型，标注人员可以通过简单的交互操作，如点击病变区域的大致位置，模型就能自动分割出病变的精确轮廓，大大减少了手动绘制轮廓的时间。

8.2 案例二：视频目标跟踪标注

在视频目标跟踪标注中，自动化标注方法也有广泛的应用。例如，在体育赛事视频标注中，需要对运动员的位置和动作进行标注。

• 预标注部分数据 ：使用现有的人员检测和跟踪模型对视频中的运动员进行预标注，确定运动员的空间位置。例如，使用一个基于深度学习的人员检测模型，对每一帧视频中的运动员进行检测，并标记出他们的位置。然后，标注人员可以专注于为运动员添加额外的信息，如他们正在进行的动作（投篮、传球等）。
• 交互式自动化辅助 ：在标注过程中，使用跟踪算法可以自动跟踪运动员在视频中的移动轨迹。标注人员只需在必要时对跟踪结果进行修正，确保轨迹的准确性。

9. 自动化标注的未来发展趋势

9.1 模型融合与创新

未来，自动化标注方法将越来越多地采用模型融合的方式。不同的模型具有不同的优势，将它们融合在一起可以充分发挥各自的长处，提高标注的准确性和效率。例如，将基于深度学习的预标注模型与交互式自动化模型相结合，先由预标注模型提供大致的标注结果，再由交互式自动化模型进行精确的细化。

9.2 无监督和半监督学习的应用

随着无监督和半监督学习技术的发展，它们将在自动化标注中发挥越来越重要的作用。无监督学习可以自动发现数据中的模式和结构，为标注提供有价值的信息。半监督学习则可以利用少量的标注数据和大量的未标注数据进行训练，减少标注的工作量。

9.3 与人工智能其他领域的融合

自动化标注将与人工智能的其他领域，如自然语言处理、计算机视觉等进行更深入的融合。例如，在图像标注中，可以结合自然语言处理技术，让标注人员通过语音指令进行标注，提高标注的便捷性。

10. 总结与建议

10.1 总结

自动化标注方法为数据标注带来了巨大的变革，它可以提高标注效率、减少人工成本、提升标注质量。预标注、交互式自动化等方法各有优缺点，在实际应用中需要根据具体情况进行合理选择和组合。同时，要充分考虑修正时间、主题专家的作用以及自动化方法的叠加等因素，以确保自动化标注的有效性。

10.2 建议

• 选择合适的方法 ：根据数据的特点和标注的需求，选择合适的自动化标注方法。例如，如果数据具有明显的模式和规律，可以优先考虑预标注方法；如果需要对复杂的对象进行精确标注，可以使用交互式自动化方法。
• 注重数据质量 ：在使用自动化标注方法时，要注重数据的质量。预标注可能会引入错误，因此需要对预标注的结果进行严格的验证和修正。同时，要确保标注人员具备足够的专业知识和技能，以保证标注的准确性。
• 持续优化和改进 ：自动化标注方法是一个不断发展和完善的过程。要持续关注新技术的发展，不断优化和改进现有的自动化标注流程，以适应不断变化的需求。

以下是一个自动化标注流程的 mermaid 流程图：

graph LR
    classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px
    classDef decision fill:#FFF6CC,stroke:#FFBC52,stroke-width:2px

    A([开始]):::startend --> B{选择自动化方法}:::decision
    B -->|预标注| C(识别现有模型):::process
    C --> D(映射数据到训练系统):::process
    D --> E(创建任务):::process
    E --> F(标注):::process
    F --> G(查询和使用数据重训模型):::process
    B -->|交互式自动化| H(用户生成初始交互):::process
    H --> I(过程运行):::process
    I --> J(用户审查结果):::process
    G --> K([结束]):::startend
    J --> K

通过以上的介绍和分析，我们可以看到自动化标注在数据标注领域具有广阔的应用前景。只要我们合理选择和应用自动化标注方法，不断探索和创新，就能够提高数据标注的效率和质量，为人工智能的发展提供有力的支持。