24、AI 训练数据：从理论到实践的全面指南

AI 训练数据：从理论到实践的全面指南

1. 高维空间与机器理解

在技术层面，存在着“高维空间”，我们无法对其进行合理的可视化呈现。许多机器学习模型拥有数百个维度，而我们仅能合理地绘制四个维度（空间维度 (x, y, z) 和时间维度 (t)）。

“理解”这个词用于区分那些能够写在书中的内容，以及迄今为止仅能存在于人类思维中的内容。如今，机器也能够形成“理解”。这带来了以下一系列影响：
- 行动频率显著提升 ：例如，以往桥梁的目视检查可能每年或每十年进行一次，而现在，类似水平的分析每隔几秒就能完成。
- 随机过程变得相对固定 ：以交通事故为例，虽然目前交通事故时有发生，但最终它们会变得极为罕见。曾经的随机事件（比如我们会叮嘱亲人“到家给我打电话”）将变得几乎确定。一旦发生事故，甚至会成为国际新闻，如“过去 24 个月内的首起交通事故刚刚发生！”
- 曾经不可能的事情变为可能 ：比如，未来你可以将手机传感器对准口腔，就能获得以往需要去看牙医才能得到的诊断信息，就像把“牙医装进口袋”。
- 个性化和个人辅助的有效性增强 ：随着技术的发展，个人辅助服务将更加贴合用户需求，提供更高效的服务。

2. 新的“众包”模式：利用内部专家

标注人员和训练数据文化紧密相连。了解训练数据的人越多，机会也就越多。通常，内部员工和专家参与得越多，数据质量就越高。以下几点需要注意：
- 树立以数据为中心的思维 ：接受“训练数据优先”的理念，将数据视为核心资产。
- 明确标注人员 ：确定实际进行标注工作的人员，这是一个重要的决策。
- 重新定义团队角色 ：将现有团队视为“众包群体”，有助于获取更高质量、更大数量的数据。通过依靠内部员工，既能控制成本，又能取得更好的效果。

3. 影响训练数据投资回报率的关键因素

以下因素最终将决定训练数据的“保质期”以及其转化为实际生产力提升的能力：
| 因素 | 说明 |
| ---- | ---- |
| 人才（标注人员） | 一位管理大型标注团队的人士表示：“标注质量的最大决定因素是创建标注的人。” |
| 训练数据文化程度 | 这是一个阶梯式的差异，人们要么意识到某些事物可以转化为训练数据，要么没有意识到。在 AI 标注人才方面，如果必须做出选择，应优先考虑质量而非数量。 |
| 标注数据的代表意义 | 从这个角度思考标注工作，进一步凸显了设立专门业务单元负责此事的必要性，同时也表明在采购过程的各个阶段都需要提高认识。例如，如果你购买一个自动化系统，而供应商负责标注数据，这对你的未来意味着什么？这关系到你的商业诀窍、商业机密、流程和能力，以及你为创建、更新、保护和维护这些数据所投入的大量人力。它也是你在 AI 转型过程中保持竞争力的关键。 |

4. 自主控制训练数据的利弊

让团队掌握处理训练数据的知识，能为企业带来诸多好处，但也存在一些挑战：

好处

• 提升数据质量 ：借助现有专家和领域知识，提高数据标注的准确性和相关性。
• 优化成本模型 ：通过重新利用或调整现有工作，降低成本。
• 创建可复用的数据库 ：打造一个持久、可共享和可复用的训练数据库，为企业的长期发展提供支持。
• 掌控数据质量和经济效益 ：对数据输出的质量和成本进行有效控制。

挑战

• 增加内部管理负担 ：可能需要更多的内部管理资源，灵活性也可能降低。
• 需要组织变革 ：要求企业具备相应的组织知识，并进行一定的变革。

5. 硬件的必要性

成本考量

大型成熟的 AI 公司在 AI 计算资源（如 GPU、数据摄取和存储）上的投入高达数千万甚至数亿美元。因此，硬件成本是一个关键因素。

数据保护

训练数据是企业的新“黄金”，是最重要的资产之一。如果无法控制硬件，就很难保护这些数据。例如，若发生合同纠纷或供应商的控制措施不如预期，企业的关键业务数据和记录将面临风险。因此，对于持续的训练数据需求，考虑到硬件成本和数据对公司的重要性，企业必须掌控硬件。虽然 SaaS 解决方案在项目启动和概念验证阶段可能可行，但从长远来看，企业需要自主控制硬件。

6. 常见项目误区

在开展 AI 项目时，资源不足的问题尤为突出。许多从病理学领域到牙科领域的专业人士对 AI 充满好奇，但实际上，要构建一个真正的原型或投入生产，需要强大的团队协作和大量的资源。以下是一些常见的起步障碍：
- 项目资源不足 ：单个医生即使在其专业领域，也很难开发出通用的 AI 模型。
- 数据量估算错误 ：例如，一家大型牙科诊所的所有患者的所有 X 光片数据可能看似庞大，但单独来看，可能仍不足以训练出通用的牙科 AI。
- 项目周期长 ：大多数 AI 项目需要数月甚至数年的时间才能构建出合理的系统，而且预期的使用寿命和维护时间通常也以年为单位计算。

7. 现代训练数据工具

工具的重要性

有效使用训练数据工具可以带来数量级的差异。第一步是了解存在哪些高级概念。让团队接触相关的书籍和资料是加速这一过程的好方法。

工具的发展

训练数据软件已经取得了长足的进步，自其诞生以来已经获得了数百万美元的投资。现代训练数据软件更像是一套办公套件，多个复杂的应用程序相互协作。虽然目前可能还没有达到逐行代码那样复杂的程度，但在未来几年内，它将朝着这个方向发展。

应对学习曲线

在使用训练数据软件时，人们往往倾向于追求完美和熟悉感，尤其是当早期团队熟悉某种特定模式时。但实际上，所有软件都存在漏洞。例如，即使是经过数十年大量工程努力的 Google 搜索，也会出现菜单和搜索结果重复的问题。早期的计算机应用程序界面晦涩难懂，人们需要学习许多概念才能完成简单任务，训练数据软件也是如此。此外，这些应用程序和用例的复杂性在不断增加。最初，演示大多数关键功能可能只需半小时，但现在，即使针对特定角色（如标注人员）和特定媒体类型（如图像）进行演示，也可能需要半小时。完整的端到端演示则需要数天时间，就像从未使用过文字处理器或电子表格的人学习基本课程需要数天一样。那么，如何应对这个学习曲线呢？
- 深入广泛的讨论 ：虽然用户界面设计和定制很重要，但过度关注这些方面可能会使我们忽略关键要点。如果领域专家太忙而无法花时间学习如何使用应用程序，那么他们能否提供高质量的标注呢？
- 定制和配置 ：虽然现成的软件应该是起点，但我们必须认识到，总是需要一定程度的定制和配置。
- 培训和新知识 ：从领导层到一线员工，从概念到具体工具，都需要新的培训和知识。

8. 不同人员的培训需求

所有人

• 了解监督式 AI 概述 ：对监督式 AI 有一个高层次的了解，并明白它与自身业务的关系。
• 明确 AI 的角色 ：例如，如果 AI 将生成提案，而人类负责调整，那么要清楚各自的职责。
• 认识 AI 对工作的影响 ：了解 AI 监督如何使工作更高效、更有趣。
• 提出适合监督的流程想法 ：思考哪些业务流程适合引入 AI 监督。

标注人员

• 掌握标注工具基础 ：学会使用标注工具就像学会使用文字处理软件一样重要。
• 深入培训 ：包括阅读相关资料，以及接受关于敏感问题（如偏差）的进一步培训。

管理人员

除了上述所有人的培训内容外，还需要：
- 学会提出关键问题 ：针对新的和更新的流程，知道应该提出哪些问题。
- 识别有经济价值的训练数据机会 ：了解如何判断哪些训练数据项目具有经济可行性。
- 反思生产力目标 ：在 AI 标注的新时代，每一刻未被标注记录的工作都是一种损失，因此要反思生产力目标。

高管人员

• 反思组织结构 ：考虑是否需要创建新的训练数据单元。
• 培育和维护训练文化 ：营造一种重视训练数据的企业文化。
• 谨慎选择供应商 ：根据未来的 AI 目标，慎重选择供应商。

9. 企业生产和消费数据的模式

在实践中，企业生产和消费训练数据主要有以下几种模式：
| 模式 | 说明 |
| ---- | ---- |
| 软件公司主导 | 以软件为核心的公司开发 AI 产品，并自行生产大部分或全部训练数据。然后将软件发布给消费者，或者其他公司购买该软件成为最终用户。 |
| 企业内部生产 | 具备内部训练数据生产能力的公司为自身内部使用开发软件。这通常需要依靠外部合作伙伴或进行大量投资。 |
| 终端用户参与 | 软件公司开发 AI 产品，但将大部分训练数据的生产工作留给购买软件的终端用户。 |

只有第一种模式中，终端用户公司不参与训练数据的生产。一般来说，这种模式要么将企业的核心竞争力转移到软件供应商，要么意味着提供的是相对静态的产品。从高管的角度来看，最关键的问题是：“你是否希望自己生产数据？”以及“你是否希望 AI 数据成为企业的核心竞争力？”

10. 避免过早优化训练数据的陷阱

过早优化训练数据可能会带来挑战，以下是一些常见的陷阱、表现和避免方法：
| 陷阱 | 发生情况 | 警告信号 | 避免方法 |
| ---- | ---- | ---- | ---- |
| 认为训练好的模型就大功告成 | 投入精力训练模型，模型初步运行后人们感到兴奋，认为只需进行一些小调整。但实际上距离完成还很远。 | - “训练好的模型”被视为最终目标。
- 未讨论持续的连续标注。
- 迭代讨论局限在有限的时间窗口内。 | - 让人们明白目标是建立一个持续改进的系统，而不是一次性的模型。
- 提前讨论达到何种性能水平可以发布版本 1。例如，对于自动驾驶，一些人采用“等同于人类水平即可”的方法。 |
| 过早确定数据模式 | 投入大量资源进行标注后，发现标签、属性和整体模式等不符合需求。例如，原本使用边界框标注，后来发现需要关键点标注。 | - 早期试点工作和主要工作之间模式变化不显著。
- 模式确定时数据科学参与度低。
- “最终”模式确定时没有证明成功实现该模式能解决下游问题。 | - 预期模式会发生变化。
- 尝试多种不同的模式方法，结合实际模型，看哪种真正有效，不要假设任何人事先就知道正确答案。
- 询问：如果模型做出完美预测，是否真的能解决下游用例问题？例如，如果模型能完美预测钢筋上的某个框，是否能解决整体问题？ |
| 过早采用自动化 | 考虑到人工标注可能需要的资源，寻找自动化解决方案。起初对自动化结果满意，但后来发现自动化并没有达到预期效果。 | - 产生不切实际的期望，例如期望自动化几乎能解决标注问题。
- 探索自动化时未涉及数据科学。
- 在进行大量人工标注工作之前就详细讨论自动化计划。
- 在错误假设自动化能处理一切的情况下，减少对训练数据的管理关注。 | - 意识到少量的人工标注就可以开始获得需求的方向性理解。
- 在进行足够的手动人工标注以充分了解领域之前，尽量少用或不使用自动化。
- 进行比预期更多的人工标注。之后，你将处于最佳位置来选择最有效的自动化方法。
- 将自动化视为过程的一部分，而不是万能解决方案。 |
| 错误计算工作量 | 查看整体数据集大小，预测标注数量，并假设需要对所有数据进行标注。 | - 假设所有可用数据都需要标注（数据可以过滤出最有价值的项目）。
- 未考虑数据的持续积累或生产数据。
- 未考虑收益递减，即每个额外标注的项目带来的价值比前一个项目增量减少。 | - 获取足够大的实际工作样本，了解每个样本通常需要的时间。
- 认识到这始终是一个动态的目标。例如，随着模型的改进，每个样本的工作可能会变得更难。 |
| 未充分使用工具 | 过于关注“完成数据集标注”，而不是关注实际结果。对工具抱有不切实际的期望，将其视为普通购物网站，而不是一套严肃的新生产力工具。 | - 过度关注“完成数据集标注”，而不是关注实际结果。
- 不切实际的期望，将其视为普通购物网站，而不是一套严肃的新生产力工具。 | - 认识到这些新平台就像“Photoshop 走进酒吧，遇到一位兼职数据工程师的严厉任务大师”，既复杂又新颖。
- 工具越强大，越需要深入了解。将其视为学习一个新的学科领域，一门新的艺术。 |

11. 标注工作无捷径

标注工作没有捷径可走，它是实实在在的工作。要使这项工作具有价值，就必须付出实际努力。所有提高标注生产力的方法都必须基于现实情况。训练数据必须与企业的业务用例相关，这需要员工的见解。其他一切都可能是噪音或特定情况下的专业概念。不要将某些优化视为真正的收益，而应将错过这些优化视为功能上的不足。由于这是一个新兴领域，规范尚未完善，因此清楚了解其历史、未来目标和最新概念框架尤为重要。

12. 训练数据文化的重要性

让每个人都参与到训练数据工作中是 AI 转型的核心。就像 IT 团队无法独自神奇地重新创建每个业务流程一样，每个业务部门的经理都应该逐渐了解数字工具的功能，并知道如何提出相关问题。一个常见的误解是，认为现代训练数据仅仅是数据科学的领域。这种误解严重阻碍了团队的发展。数据科学固然是一项艰巨的工作，但往往容易混淆其应用的背景。如果将 AI 项目完全交给数据科学团队负责，那么整个公司成功的可能性有多大呢？因此，培养一种广泛参与的训练数据文化至关重要。

13. 避免过早优化训练数据的流程图

下面通过 mermaid 格式的流程图，更直观地展示避免过早优化训练数据的流程：

graph LR
    classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px;
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    classDef decision fill:#FFF6CC,stroke:#FFBC52,stroke-width:2px;

    A([开始]):::startend --> B{是否认为训练好的模型就大功告成?}:::decision
    B -->|是| C(教育人们建立持续改进系统):::process
    B -->|否| D{是否过早确定数据模式?}:::decision
    D -->|是| E(预期模式变化并尝试多种方法):::process
    D -->|否| F{是否过早采用自动化?}:::decision
    F -->|是| G(先进行足够人工标注再选自动化):::process
    F -->|否| H{是否错误计算工作量?}:::decision
    H -->|是| I(获取样本了解时间并认识动态目标):::process
    H -->|否| J{是否未充分使用工具?}:::decision
    J -->|是| K(深入了解工具的复杂性):::process
    J -->|否| L([结束]):::startend
    C --> D
    E --> F
    G --> H
    I --> J

这个流程图展示了在训练数据过程中，针对不同的过早优化陷阱，应该采取的相应避免措施。从判断是否认为训练好的模型就大功告成开始，依次检查其他可能的陷阱，并根据判断结果执行相应的避免方法，最终完成整个流程。

14. 企业数据模式选择的影响因素

企业在选择生产和消费训练数据的模式时，需要考虑多个影响因素，以下是一个列表说明：
- 核心竞争力 ：如果企业希望将 AI 数据作为核心竞争力，那么内部生产或终端用户参与的模式可能更合适，这样可以更好地掌控数据和技术。例如，一家电商企业通过内部生产训练数据，可以针对自身的业务特点和用户需求，开发出更精准的推荐系统，从而在市场竞争中脱颖而出。
- 资源投入 ：不同的模式对资源的要求不同。软件公司主导的模式可能需要较少的内部资源投入，但可能会失去对数据的控制权；而企业内部生产模式则需要大量的人力、物力和财力投入，包括建立专业的团队、购买硬件设备等。例如，一家小型科技公司可能由于资源有限，更倾向于选择软件公司主导的模式。
- 业务灵活性 ：终端用户参与的模式可以根据企业的业务变化及时调整训练数据，具有较高的灵活性。例如，一家时尚品牌企业的业务需求会随着季节和流行趋势的变化而变化，通过终端用户参与的模式，可以快速更新训练数据，使 AI 模型更好地适应业务需求。
- 数据安全性 ：对于一些涉及敏感信息的企业，如金融机构、医疗企业等，数据安全性至关重要。在这种情况下，企业可能更倾向于内部生产模式，以确保数据的安全和隐私。例如，银行在开发风险评估模型时，会选择内部生产训练数据，避免数据泄露带来的风险。

15. 不同人员培训需求的对比

为了更清晰地展示不同人员在训练数据方面的培训需求差异，我们可以通过以下表格进行对比：
| 人员类型 | 培训需求 |
| ---- | ---- |
| 所有人 | - 高层面了解监督式 AI 及其与业务的关系
- 明确 AI 在工作中的角色和职责
- 认识 AI 对工作效率和趣味性的影响
- 提出适合 AI 监督的业务流程想法 |
| 标注人员 | - 掌握标注工具的基本使用方法
- 接受深入培训，包括阅读相关资料和学习敏感问题处理 |
| 管理人员 | - 具备所有人的培训内容
- 学会针对新流程提出关键问题
- 能够识别有经济价值的训练数据机会
- 反思 AI 标注时代的生产力目标 |
| 高管人员 | - 反思企业组织结构，考虑创建新的训练数据单元
- 培育和维护重视训练数据的企业文化
- 根据未来 AI 目标谨慎选择供应商 |

从表格中可以看出，不同人员的培训需求既有共性，也有个性。所有人都需要对 AI 有基本的了解和认识，而标注人员更侧重于标注工具的使用和深入知识的学习，管理人员需要具备一定的经济和管理思维，高管人员则需要从企业战略层面进行考虑。

16. 训练数据工具的发展趋势

随着 AI 技术的不断发展，训练数据工具也呈现出一些明显的发展趋势：
- 功能集成化 ：现代训练数据工具不再是单一功能的软件，而是朝着集成化的方向发展，就像办公套件一样，多个复杂的应用程序相互协作。例如，一个训练数据工具可能集成了数据标注、数据清洗、模型训练等多种功能，用户可以在一个平台上完成整个训练数据的处理流程。
- 智能化程度提高 ：工具将越来越智能化，能够自动识别数据中的特征和模式，提供更准确的标注建议。例如，在图像标注中，工具可以自动识别图像中的物体，并为标注人员提供可能的标签选项，从而提高标注效率和准确性。
- 用户体验优化 ：为了降低用户的学习成本，工具的用户界面将更加友好和直观。例如，采用可视化的操作界面，让用户可以通过简单的拖拽和点击完成复杂的操作，即使是没有专业技术背景的人员也能轻松使用。
- 与业务深度融合 ：训练数据工具将更好地与企业的业务流程相结合，能够根据企业的具体需求进行定制化开发。例如，针对不同行业的特点，工具可以提供不同的标注模板和算法，以满足企业的个性化需求。

17. 硬件选择的考虑因素

在选择 AI 硬件时，企业需要考虑以下几个重要因素：
- 成本效益 ：硬件成本是一个关键因素，企业需要在满足业务需求的前提下，尽可能降低成本。例如，在选择 GPU 时，需要根据训练数据的规模和复杂度，选择性价比最高的产品。
- 性能需求 ：不同的 AI 应用对硬件性能的要求不同。例如，深度学习模型的训练需要强大的计算能力，因此需要选择高性能的 GPU 或 TPU；而对于一些简单的 AI 任务，如数据分类，普通的 CPU 可能就足够了。
- 扩展性 ：随着企业业务的发展，训练数据的规模和复杂度可能会不断增加，因此硬件需要具备良好的扩展性。例如，服务器可以通过添加硬盘、内存等组件来提高存储和计算能力。
- 数据安全性 ：硬件的安全性直接关系到训练数据的安全。企业需要选择具有可靠安全机制的硬件产品，如加密存储、访问控制等，以防止数据泄露和恶意攻击。

18. 标注工作的质量提升策略

为了提高标注工作的质量，可以采取以下策略：
- 人员培训 ：对标注人员进行专业的培训，包括标注工具的使用、业务知识的学习以及敏感问题的处理等。例如，通过定期的培训课程和实际操作练习，提高标注人员的技能水平和工作效率。
- 质量控制 ：建立严格的质量控制体系，对标注结果进行审核和验证。例如，采用多人标注、交叉审核的方式，确保标注结果的一致性和准确性。
- 数据清洗 ：在标注之前，对原始数据进行清洗和预处理，去除噪声和错误数据。例如，在图像标注中，对图像进行去噪、裁剪等处理，提高图像的质量，从而提高标注的准确性。
- 持续改进 ：根据标注过程中发现的问题，及时对标注方法和流程进行改进。例如，通过分析标注结果的误差分布，调整标注规则和算法，不断提高标注质量。

19. 训练数据文化建设的步骤

建设良好的训练数据文化可以促进企业的 AI 转型，以下是具体的步骤：
1. 意识培养 ：通过培训、宣传等方式，让企业员工了解训练数据的重要性和价值。例如，举办专题讲座、发放宣传资料等，提高员工对训练数据的认识。
2. 制度建立 ：制定相关的制度和规范，明确员工在训练数据工作中的职责和流程。例如，建立数据标注规范、数据安全管理制度等，确保训练数据工作的规范化和标准化。
3. 激励机制 ：建立激励机制，鼓励员工积极参与训练数据工作。例如，设立奖励制度，对在训练数据工作中表现优秀的员工进行表彰和奖励。
4. 团队协作 ：促进不同部门之间的协作和沟通，形成一个良好的团队氛围。例如，组织跨部门的项目小组，共同完成训练数据的生产和管理工作。
5. 持续学习 ：鼓励员工不断学习和掌握新的训练数据技术和方法，提高自身的能力和素质。例如，提供培训机会、支持员工参加学术交流活动等。

20. 总结

AI 训练数据在企业的 AI 转型中起着至关重要的作用。从高维空间与机器理解带来的影响，到不同人员的培训需求，再到企业生产和消费数据的模式选择，以及硬件的必要性和标注工作的质量提升等方面，都需要企业进行全面的考虑和规划。同时，避免过早优化训练数据的陷阱，建设良好的训练数据文化，也是企业成功实现 AI 转型的关键因素。企业应根据自身的实际情况，选择合适的数据模式和硬件，加强人员培训，提高标注工作质量，以适应不断变化的市场需求，在 AI 时代取得竞争优势。