AI产品经理之数据标注

前几天参加京东的AI技术沙龙，在提问环节，有个小伙说：

“我是做销售的，刚才您讲的我都没听懂，我就知道，现在AI是风口，只要做AI相关的就能挣钱，您能说几个现在我们这类人能做到吗？能挣钱就行！”

台上技术出身的老师自然一时语塞。小伙说的没错，百团大战的时候确实一批刷单公司赚得盆满钵满。但是这些投机取巧注定不能长远。

让更多人卷进这次AI浪潮的可能就是数据标注了，All in AI的百度拥有大量的标注业务，大部分河南标注工厂用的是百度的标注工具，干的是百度的活。开始的时候标注的利润空间可以达到60%—70%。有些企业盲目扩张，一下子招了几百人；但是陆奇离开后，百度需求减少。准确率又普遍提高至95%-96%，活难干了。这些工厂只会百度的标注工具，很难接别家的业务，因此死了一批。

现在来看标注行业是一个苦行业，“如果你和谁有仇，就劝他干标注吧。”这是标注圈有名的段子。干标注就像将水倒进一个水桶里，每拉一个框就是添一碗水。目前，谁也不知道还能添多久，只有水溢出来时，才知道。

数据是AI公司的必需品。数据对于AI模型的重要性尤为重要，AI建模没有门槛，数据才是门槛。现阶段的人工智能是简单的认知智能。分类器的构造是个数学问题，就是由数据堆起来的。或者说深度学习本质上是个数学问题，是由大量的样本空间数据反向构造分类器的系数空间的过程。

数据标注模型

数据标注业务的配置是一个复杂的数学模型。比如，有些任务需要串并联的工作流，并联的工作流是多人协同的工作。串联的工作流是后一个结果是基于前一个结果进行处理的，串并联的工作流需要平台来实现业务工作流的配置。比如一些NLP型的文本标注作业，需要多个人来标，最后N选一或者投票。串并联配置涉及到底层数据流的分发等。或者说更像是一个流水线作业流程。

不断地用标注后的数据去训练模型，不断调整模型参数，得到指标数值更高的模型。

数据的质量直接会影响到模型的质量，因此数据标注流程设计和监督纠错就显得异常重要。

一般来说，数据标注部分可以有三个角色：

1. 数据标注员：标注员负责标记数据。（文本、图像、视频）
2. 数据审核员：审核员负责审核被标记数据的质量。（抽检）
3. 标注管理员：管理人员、发放任务、跟进流程。

只有在数据被审核员审核通过后，这批数据才能入库使用。

一般众包数据标记流程

1. 任务分配：一般数据分配由后台自动分发，根据用户选择标注类型每次分发几条内容，标注完成后再次分发。
2. 复核入库：一般一条任务会分配给大于三个人的基数人员完成，根据少数服从多数原则确定该条数据的最终标签。
3. 质量验收：一般会根据用户标注总数量和入库数量计算该用户的标注质量，和计算有效标注数量，质量高的和质量低的薪酬计算方法会有差别，以此来淘汰不能完成高质量标注的人员。

数据标注类型

图像标注-线标注

根据需求标注检测对象相对应的线型位置，例如：车道线。

图像标注-边框标注

标注检测对象相对应的区域，例如：汽车/行人等各种物体。

图像标注-3D边框标注

将图像中待检测物体以立体形式标注，例如汽车检测。

图像标注-语义分隔

根据检测区域不同，将图像标注为不同的像素，例如来自汽车拍摄的图像。

图像标注-多边形标注

根据需求标注检测对象的形状，例如：标注图像中的汽车轮廓（示例图）或标记污损边界。

图像标注-点标注

根据需求标注检测对象参考点的像素坐标，或者图像中的关键点标记，如人脸。

图像标注-3D点云标注

在3D空间中，标注点云数据中指定的检测对象，如汽车、行车道等。

视频标注-跟踪标注

在视频或者连续的图像中跟踪标注检测对象，形成有ID关联的运动轨迹。

文本标注-中英文语音转写与校对

英文语音转中文文本，或中文文本转英文语音。

文本标注

实体命名，标注文本中的实体。

语音标注-客服语音标注

外呼机器人进行外呼记录语音标注呼叫成功或者失败，从而训练话术。

标注流程

1. 需求确认：对标注任务需求确认，标注数据集准备完成，规范标注需求，指定标注模型。
2. 人员筛选：确定标注人员及人员角色
3. 人员培训：针对不同角色培训标注规范和标注标准
4. 开始试标：先标注少量数据，试用标注数据，调整标注流程，使得效率最优。
5. 正式标注：完成整体标注任务。导出数据。

总结

快速、高效的进行数据标注，是机器学习和深度学习的基础，现在一些标注工具通过深度学习模型和主动学习技术，通过NLP模型来提高标注效率，集数据标注、数据管理、模型训练和模型服务于一体，使数据标注更加轻松、更高效。离AI最近的重复复杂的工作，是首先会被机器取代的。

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

• 目标：了解AI大模型的基本概念、发展历程和核心原理。
• 内容：
  • L1.1 人工智能简述与大模型起源
  • L1.2 大模型与通用人工智能
  • L1.3 GPT模型的发展历程
  • L1.4 模型工程
    - L1.4.1 知识大模型
    - L1.4.2 生产大模型
    - L1.4.3 模型工程方法论
    - L1.4.4 模型工程实践
  • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

• 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
• 内容：
  • L2.1 API接口
    - L2.1.1 OpenAI API接口
    - L2.1.2 Python接口接入
    - L2.1.3 BOT工具类框架
    - L2.1.4 代码示例
  • L2.2 Prompt框架
    - L2.2.1 什么是Prompt
    - L2.2.2 Prompt框架应用现状
    - L2.2.3 基于GPTAS的Prompt框架
    - L2.2.4 Prompt框架与Thought
    - L2.2.5 Prompt框架与提示词
  • L2.3 流水线工程
    - L2.3.1 流水线工程的概念
    - L2.3.2 流水线工程的优点
    - L2.3.3 流水线工程的应用
  • L2.4 总结与展望

阶段3：AI大模型应用架构实践

• 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
• 内容：
  • L3.1 Agent模型框架
    - L3.1.1 Agent模型框架的设计理念
    - L3.1.2 Agent模型框架的核心组件
    - L3.1.3 Agent模型框架的实现细节
  • L3.2 MetaGPT
    - L3.2.1 MetaGPT的基本概念
    - L3.2.2 MetaGPT的工作原理
    - L3.2.3 MetaGPT的应用场景
  • L3.3 ChatGLM
    - L3.3.1 ChatGLM的特点
    - L3.3.2 ChatGLM的开发环境
    - L3.3.3 ChatGLM的使用示例
  • L3.4 LLAMA
    - L3.4.1 LLAMA的特点
    - L3.4.2 LLAMA的开发环境
    - L3.4.3 LLAMA的使用示例
  • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

• 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
• 内容：
  • L4.1 模型私有化部署概述
  • L4.2 模型私有化部署的关键技术
  • L4.3 模型私有化部署的实施步骤
  • L4.4 模型私有化部署的应用场景

学习计划：

• 阶段1：1-2个月，建立AI大模型的基础知识体系。
• 阶段2：2-3个月，专注于API应用开发能力的提升。
• 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
• 阶段4：4-5个月，专注于高级模型的应用和部署。

这份完整版的大模型 LLM 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓