23、AI组织架构与用例发现全解析

AI组织架构与用例发现全解析

1. AI组织架构概述

在AI领域，组织架构是推动数据训练和业务发展的关键。新的组织架构图（如图7 - 7）可作为一个起点，图中的每个框可视为一个角色，一个人可能承担多个角色。不同类型的公司在架构上会有不同的调整。

• AI 聚焦型公司 ：生产者会因公司而异，专家可能是终端用户，或者是兼职的外部人员，但仍是指定的合作伙伴，而非普通的“人才库”。这类公司可能几乎没有或只有很少的推广者，业务线经理可能就是整体的产品经理。
• 传统公司 ：传统公司可能有较少的专职生产者和更多的推广者。

训练数据团队的参与范围很广，在AI成熟的组织中，该团队主要充当顾问角色，紧跟最新趋势并维护整体工具。

2. 各角色职责

组织中不同角色有着不同的职责，共同推动AI项目的发展。
|角色|职责|
| ---- | ---- |
|AI数据总监|负责数据的整体生产和消费，重点是生产。包括将业务需求转化为成功的训练数据、通过映射业务需求生成训练数据工作、管理生产经理团队、管理推广者、管理训练数据平台等。此外，还需协调数据科学团队的数据消费，对数据科学团队进行间接制衡，承担常规的总监级职责。|
|训练数据推广者|作为教育者、培训师和变革推动者，主要负责与业务线经理密切合作，识别关键训练数据和AI机会；在生产经理之前开展工作，建立即将开展的工作，并充当业务线经理和生产经理之间的纽带。在专注于AI产品的公司，主要进行培训；在传统企业中，需要进行更广泛的工作，如教育组织内人员了解AI转型的影响、招募注释员、提供培训等。|
|训练数据生产经理|主要负责完成注释工作，包括与数据科学团队对接设置模式和任务、培训注释员、管理日常注释流程、进行基本的数据加载和卸载、在变更管理讨论中解释注释工作的合理性、使用数据管理工具等。|
|注释生产者|分为兼职和全职两类。兼职注释工作将逐渐成为每个人工作的一部分；全职注释员是经过专门培训的人员，可能是新招聘的，也可能是从现有工作中调配过来的。他们的主要职责是实现AI与业务需求的日常对齐，发现AI模式中的问题，日常使用AI工具和使用AI的工具。|
|数据工程师|负责数据的加载和卸载、训练数据工具的技术方面、管道设置、预标记等。特别重要的是从各种来源（包括内部团队）组织获取数据，规划和架构新数据元素的设置，组织集成以理解捕获注释的技术细节。数据工程师需要定期与数据科学团队进行交互。|

3. 历史背景

过去不需要“生产”概念，主要有两个原因。一是经典机器学习中数据集已经存在（即使是杂乱的），不需要专门“生产”数据集；二是早期的工作与日常业务目标分离，更倾向于一次性规划、一次性项目和孤立项目。随着AI转型成为业务主流，这种分离成为了人为的障碍。

4. 用例发现

用例发现是确定AI项目可行性的重要环节。
- 好的用例标准 ：一个好的用例必须有获取原始数据的方法，并且至少满足以下条件之一：经常重复、涉及专家、增加新功能。满足的条件越多，用例的价值可能就越大。
|问题|结果（示例答案）|要求|
| ---- | ---- | ---- |
|能否获取原始数据？|是/否|必需|
|是否经常重复？|是/有时/否|至少满足其中一个|
|是否涉及专家？|是/有时/否|至少满足其中一个|
|是否对多人的现有工作有积极影响？|是/有时/否|至少满足其中一个|
|是否增加新功能？|是/有时/否|至少满足其中一个|

我们可以通过一个具体例子“自动背景移除”来进一步理解用例评估。在视频会议中，“背景移除”功能可以将杂乱的背景变成自定义背景图像或平滑模糊的背景。该功能以前需要绿幕、自定义照明等，现在通过训练数据就可以实现。通过对视频进行前景数据标注，训练模型预测前景的空间位置，其余部分则被视为背景并进行模糊处理。

问题	结果	要求
能否获取数据？	是，视频流已经以数字形式捕获。	✔
是否经常重复？	是，一次视频通话可能会移除数千个背景帧，单个用户每天可能有多次通话，并且有很多视频通话者。	✔
是否涉及专家？	有时。设置绿幕效果需要一些专业知识，但远不及医学或工程领域的专业知识。	—
是否增加新功能？	有时。以前可以使用绿幕，但在旅行等情况下，即使拥有绿幕的人也无法使用，在这种情况下增加了新功能。	—

这个例子展示了训练数据的强大功能，原本需要复杂设备和专业设置才能实现的功能，现在通过简单的视频标注就可以实现。但同时也需要注意，目前要获得一个高性能的“像素分割”模型仍然具有一定的挑战性，如果要从头开始标注“Zoom视频通话”数据集，将是一项巨大的工作。

5. 详细用例评估

除了上述简化的用例评估标准，还有更详细的评估内容。
|测试|示例|反例|重要性|
| ---- | ---- | ---- | ---- |
|数据是否已经捕获？或者是否有明确的机会添加更多传感器来捕获数据（完整地）？|现有文档（如发票）、现有传感器、添加传感器|汽车经销商的面对面销售互动|获取原始数据是必要步骤；如果无法获取原始数据，其他一切都无关紧要！|
|是否涉及专家？|医生、工程师、律师、一些专家|杂货店购物|使受限资源可供更多人使用（可能更频繁、在更多情况下）；专家意见具有很高的价值；数据通常更容易获取，并且通常已经是数字形式。|
|工作是否经常重复？|每分钟多次？每小时？每天？每周？|自动背景移除/模糊、客户服务和销售、行政文档审核|已经有一个很好理解的模式（至少对人类来说）；可能已经相对受限；经常重复的任务，总体来看，具有很高的价值；现有原始数据可能已经被捕获。|

当目标是增加新的AI能力时，还有专门的用例评估标准。
|测试|示例|反例|
| ---- | ---- | ---- |
|是否因费用问题而很少进行工作？增加频率是否会有很大的价值？|检查|体育场建设|
|能否将近似过程转变为更精确的过程？这个过程是否因为目前深入进行不切实际而忽略了某些事情？我们目前是否正在用更通用的东西替代我们真正想弄清楚的东西？改进这个过程的准确性是否会带来更多的好处而不是伤害？|水果成熟度、农产品霉菌或瘀伤检测、凹罐检测|只检测金属的机场检测系统，而不是能够检测非常特定威胁的系统；贷款审批|
|是否有因为耗时太长或其他不切实际的原因而完全被跳过的事情（例如，由于工作量）？如果我们能够做到，是否会有很大的价值？|视频会议和销售电话的分析|视频上传中的色情检测、评论审核、保险财产审查|

6. 用例的概念影响

从不同的角度来看，用例还会产生一些概念性的影响和二阶效应。
|概念|示例|二阶效应|
| ---- | ---- | ---- |
|放宽问题本身的约束（针对先前已解决的问题）|绿幕 -> 任何背景；必须达到一定年龄才能驾驶；拼写检查 -> 语法检查；背景不用于评估求职面试的候选人资格|如果父母不开车，“带孩子去某个地方”会有新的含义；对正确语法的期望会发生变化（除了正确拼写）|
|替换或增强日常工作|人类数羊 -> 自动数羊；人类驾驶 -> 汽车驾驶（与人类性能相当）；人类将通信路由到部门 -> 基于意图的自动通信报告（销售、支持等）|工作的含义发生变化；将创造和转移数百万个工作岗位，人们需要学习新技能；郊区可能会进一步扩展；未有效使用AI的公司的成本结构将比有效使用AI的公司更差（例如，就像未有效使用数字技术一样）|
|使人类“超人化”|机场安全扫描；体育分析；自动驾驶（减少事故）；在常规医疗工作中充当“第二双眼睛”|机场安全可能变得更有效、更快；体育的强度可能会增加，因为对精英水平教练的期望扩展到更多人；事故可能变得更罕见，甚至更具新闻价值|
|使受限资源可供更多人使用（或减少限制）|放射科医生的时间。以前，放射科医生一天只能看有限的病人；现在，AI医疗系统可以协助放射科医生看更多的病人；自动驾驶（由于共享资源，出租车费用降低，出行更便捷）|医疗保健可能变得更易于获取；“第二意见”的含义可能会发生变化；会出现新的危险，例如群体思维增加、数据漂移、对人类专家意见的重视程度降低|

用例的核心思想是，训练数据是一种将人类知识编码到机器中的更简单方法，复制人类理解的成本趋近于零。曾经稀缺的资源，如放射科医生的时间，将变得丰富；曾经只能在电影工作室使用的绿幕，现在在世界各地的智能手机上都可以使用。

总之，在AI项目中，合理的组织架构和准确的用例发现是至关重要的。不同角色的明确职责确保了数据的有效生产和管理，而科学的用例评估可以帮助我们确定项目的可行性和价值。通过利用训练数据，我们可以实现许多以前难以想象的功能，推动AI技术在各个领域的广泛应用。我们需要不断关注这些方面的发展，以适应AI时代的变化。

AI组织架构与用例发现全解析

7. AI组织架构各角色协同流程

为了更清晰地理解AI组织架构中各角色是如何协同工作的，我们可以通过以下mermaid流程图来展示：

graph LR
    classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px
    classDef decision fill:#FFF6CC,stroke:#FFBC52,stroke-width:2px

    A([业务需求提出]):::startend --> B(业务线经理):::process
    B --> C{需求评估}:::decision
    C -->|可行| D(训练数据推广者):::process
    C -->|不可行| B
    D --> E(识别训练数据和AI机会):::process
    E --> F(与生产经理沟通):::process
    F --> G(生产经理):::process
    G --> H(设置任务和工作流):::process
    H --> I(培训注释员):::process
    I --> J(注释生产者):::process
    J --> K(完成注释工作):::process
    K --> L(数据工程师):::process
    L --> M(数据加载和处理):::process
    M --> N(AI数据总监):::process
    N --> O(管理和监督):::process
    O --> P(反馈给业务线经理):::process
    P --> B

这个流程图展示了从业务需求提出到最终反馈的整个过程。业务线经理提出需求后，经过评估，如果可行，训练数据推广者会识别机会并与生产经理沟通。生产经理负责安排任务和培训注释员，注释生产者完成注释工作，数据工程师进行数据处理，最后由AI数据总监进行管理和监督，并将结果反馈给业务线经理，形成一个闭环。

8. 用例发现的实际应用建议

在实际应用中，发现好的AI用例可以遵循以下步骤：
1. 数据收集 ：首先要确定是否能够获取原始数据。可以从公司现有的数据库、业务系统、传感器等方面进行数据收集。例如，对于一个电商公司，可以收集用户的浏览记录、购买记录、搜索关键词等数据。
2. 需求分析 ：分析业务需求，看是否满足好的用例标准。可以从业务的重复性、是否涉及专家、是否能增加新功能等方面进行评估。比如，客服部门每天需要处理大量的客户咨询，这就是一个重复性很高的业务场景，可以考虑是否能用AI来优化。
3. 专家咨询 ：如果涉及到专业领域，如医疗、法律等，要咨询相关专家的意见。专家的经验和知识可以帮助判断用例的可行性和价值。例如，在医疗影像诊断中，咨询放射科医生可以了解他们的实际需求和痛点。
4. 试点项目 ：对于初步认为可行的用例，可以先进行小规模的试点项目。通过试点项目来验证用例的效果和可行性，同时也可以发现潜在的问题和挑战。例如，在一个物流企业中，可以先在一个仓库进行货物分类的AI试点项目。
5. 评估和优化 ：根据试点项目的结果，对用例进行评估和优化。如果效果不理想，要分析原因并进行调整；如果效果良好，可以考虑扩大应用范围。

9. 不同类型公司架构调整的影响

不同类型的公司对AI组织架构进行调整会产生不同的影响，以下是一个对比表格：
|公司类型|架构调整|影响|
| ---- | ---- | ---- |
|AI聚焦型公司|生产者多样，专家可能是终端用户或兼职外部人员，推广者较少，业务线经理可能是产品经理|更加专注于核心的AI业务，能够快速响应市场变化，提高产品的竞争力。但可能会缺乏广泛的市场推广和业务拓展能力。|
|传统公司|专职生产者较少，推广者较多|能够更好地将AI技术融入到传统业务中，通过推广者的宣传和培训，提高员工对AI的接受度和应用能力。但可能在数据生产和管理方面效率较低。|

10. 未来发展趋势

随着AI技术的不断发展，AI组织架构和用例发现也会呈现出一些新的趋势：
- 自动化程度提高 ：未来，AI组织架构中的许多任务将实现自动化，如数据标注、模型训练等。这将大大提高工作效率，减少人工成本。
- 跨领域合作增多 ：AI的应用将越来越广泛，需要不同领域的专业知识和技能。因此，跨领域的合作将变得更加频繁，组织架构也将更加灵活。
- 用例更加多样化 ：随着技术的进步和市场需求的变化，AI用例将更加多样化。除了现有的一些常见用例，还会出现更多创新的用例，如智能农业、智能家居等。

总之，AI组织架构和用例发现是AI项目成功的关键因素。我们需要不断地学习和探索，适应技术的发展和市场的变化，以构建更加合理的组织架构，发现更多有价值的用例，推动AI技术在各个领域的深入应用。