科普 | 人工智能大模型时代，八种常见的“数据标注”方法，零基础入门到精通，收藏这一篇就够了

最新推荐文章于 2025-10-21 11:07:06 发布
原创 最新推荐文章于 2025-10-21 11:07:06 发布 · 2.1k 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #数据挖掘 #语音识别

你知道的数据标注都有哪些？

数据标注（Data Annotations）是指对收集到的、未处理的原始数据或初级数据，包括语音、图片、文本、视频等类型的数据进行加工处理，并转换为机器可识别信息的过程。

我们日常工作中常见的数据标注方法有以下几种：

01

矩形框标注

矩形框标注是一种对目标对象进行目标检测框标注的简单处理方式，常用于标注自动驾驶下的人、车、物等。

02

多边形标注

多边形标注是指在静态图片中，使用多边形框，标注出不规则的目标物体，相对于矩形框标注，**多边形标注能够更精准地框定目标，**同时对于不规则物体，也更具针对性。

03

语义分割

语义分割是指根据物体的属性，对复杂不规则图片进行进行区域划分，并标注对应上属性，以帮助训练图像识别模型，常应用于自动驾驶、人机交互、虚拟现实等领域。

04

关键点标注

关键点标注模板最大的应用即是对脸部的关键点进行标注，通过不同方位的关键点标注，可以判断图像上的人物的功能。

05

3D点云标注

3D点云标注是指利用激光雷达采集的数据进行框选标注，供计算机视觉与无人驾驶等人工智能模型训练使用。

06

3D立方体标注

与点云标注不同，3D立方体标注还是基于二维平面图像的标注，标注员通过对立体物体的边缘框定，进而获得灭点，测量出物体之间的相对距离。

07

目标追踪

目标追踪是指在动态的图像中，进行抽帧标注，在每一帧图片中将目标物体标注出来，进而描述它们的运动轨迹，这类标注常应用于训练自动驾驶模型以及视频识别模型。

08

属性判别

属性判别是指通过人工或机器配合的方式，识别出图像中的目标物体，并将其标注上对应属性。

AI大模型学习福利

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2024最新版优快云大礼包：《AGI大模型学习资源包》免费分享

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img
因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2024最新版优快云大礼包：《AGI大模型学习资源包》免费分享

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2024最新版优快云大礼包：《AGI大模型学习资源包》免费分享

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img
因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2024最新版优快云大礼包：《AGI大模型学习资源包》免费分享

四、AI大模型商业化落地方案

img

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2024最新版优快云大礼包：《AGI大模型学习资源包》免费分享

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。

一文搞懂数据标注
女王の专属领地
08-21 8798
数据标注即通过分类、画框、标注、注释等，对图片、语音、文本等数据进行处理，标记对象的特征，以作为机器学习基础素材的过程。简言之，就是需要给数据做好标注，这样机器就能知道学习哪些内容。
《AI大模型开发笔记》DeepSeek从入门到精通
qq837993702的博客
02-23 1311
• ❌错误⽰例：「帮我写点东西」• ✅正确姿势：「我需要⼀封求职邮件，应聘新媒体运营岗位，强调3年公众号运营经验」• ❌错误⽰例：「分析这个数据」• ✅正确姿势：「这是⼀家奶茶店过去三个⽉的销售数据，请分析周末和⼯作⽇的销量差异（附CSV数据）」• ❌错误⽰例：「给⼏个营销⽅案」• ✅正确姿势：「请⽤表格形式列出三种情⼈节咖啡店促销⽅案，包含成本预估和预期效果」• ❌错误⽰例：「详细说明」• ✅正确姿势：「请⽤200字以内解释区块链技术，让完全不懂技术的⽼⼈能听懂」
我们是如何测试人工智能的（一）基础效果篇（内含大模型的测试内容）
Ceshiren666的博客
04-02 1518
这个系列算是科普文吧，尤其这第一篇可能会比较长，因为我这 8 年里一直在 AI 领域里做测试，涉及到的场景有些多， 我希望能尽量把我经历过的东西都介绍一下，算是给大家科普一下我们这些在 AI 领域内做测试的人，每天都在做什么事情。当然 AI 领域很庞杂，我涉及到的可能也仅仅是一小部分，这篇帖子算是抛砖引玉，欢迎大家一起来讨论。
LLM大模型基础知识【一】
lin_xi_xi的博客
04-02 2314
大语言模型（LLM）：是指在自然语言处理（Natural Language Processing，NLP）领域中的一类大模型，通常用于处理文本数据和理解自然语言。这类大模型的主要特点是它们在大规模语料库上进行了训练，以学习自然语言的各种语法、语义和语境规则。例如：GPT系列（OpenAI）、Bard（Google）、文心一言（百度）。视觉大模型：是指在计算机视觉（Computer Vision，CV）领域中使用的大模型，通常用于图像处理和分析。
大模型开发者必看：数据标注全攻略，AI燃料的炼制方法
最新发布
lvaolan的博客
10-21 972
数据标注是AI体系的基石，将原始数据转化为模型可学习的训练信号。本文系统介绍了数据标注的定义、自动化趋势、在计算机视觉、NLP、自动驾驶等领域的应用场景，以及常用工具和保证标注质量的评估指标与最佳实践。高质量数据标注是各类AI应用成功的关键，没有标注，AI几乎寸步难行。
详解大模型PPO、DPO的训练过程
热门推荐
Antai_ZHU的博客
07-10 1万+
AI因你而升温，记得加个星标哦！大家好，我是泰哥。距离上次写技术贴已经1年有余，这一年当中算法技术的发展可以说是日新月异。今天和大家聊聊大模型的训练的三个阶段，分别为有监督学习（SFT）、奖励模型训练（RW）与强化学习（PPO）阶段，我对以上的训练过程会加上一些自己的理解。GPT使用Transformer decoder部分作为语言模型的框架，并将decoder中的Multi-head Attention层删除，其结构和计算过程如上图。
大模型开发入门必读资料（非常详细）收藏这一篇就够了
leah126的博客
05-25 1596
随着 GPT 的爆红，“AI 大模型” 已成为技术圈最火的话题。华为、阿里、腾讯、字节等大厂纷纷加大对 AI 技术和市场的投资，许多 AI 创业公司也如雨后春笋般涌现。这些公司都在以高薪资争夺 AI 大模型人才。作为普通工程师，我们要及时抓住机会，才能享受 AI 技术带来的红利。要抓住这些机会，首先需要掌握扎实的技术。现在向大家推荐一本书：《大规模语言模型：从理论到实践》。这本书从理论到实战，带领读者一步步实现大模型，是你提升技能、迈向 AI 大模型领域的绝佳指南。
大模型训练平台建设（非常详细）零基础入门到精通，收藏这一篇就够了
leah126的博客
07-22 4290
本文旨在系统性建设大型模型训练平台的思路，从大模型训练平台等建设节奏、系统层次架构、算法训练流程、模型管理和应用等方面介绍构建大模型训练平台的思考过程。本文虽然无法涵盖所有的方方面面，但重点介绍大型模型平台的建设思路和相关注意事项。后续将持续分享大规模模型针对实际情况的实现和相关技术选型的思考。
AI模型微调完整学习方案：从入门到精通
skygulangfendouz的专栏
04-10 1692
模型微调（Fine-tuning）是指在预训练模型基础上，使用特定领域的数据集进行进一步训练，以使模型适应特定任务或领域。预训练模型通常在海量通用数据上训练，拥有强大的语言理解和生成能力，但可能在特定领域或任务上表现不够理想[1微调可被视为更广泛的人工智能模型适应过程的一部分，特别是在用于生成式AI的基础模型的训练过程中[3通过微调，模型能够学习特定领域的专业术语、逻辑和风格，从而在该领域提供更准确、更专业的回答。
AI大模型工程师进阶成长系列：提示词工程从入门到精通
AI天才研究院
11-10 809
提示词工程是连接人类意图和AI能力的桥梁。掌握这门技术，不仅能够提高你与AI系统交互的效率，还能帮助你更深入地理解AI的工作原理和局限性。我希望本书能够为你提供有价值的知识和技能，帮助你在AI时代脱颖而出，创造出令人惊叹的应用。让我们一起探索提示词工程的奥秘，释放AI大模型的无限潜力！fill:#333;color:#333;color:#333;fill:none;提示词工程基础知识设计技巧高级技术领域应用优化与测试工具与框架伦理与安全未来趋势概念定义重要性工作原理明确性。
开启AI人工智能领域开源NLP模型训练平台搭建的新篇章
AI智能探索者的博客
06-05 1071
近年来，NLP（自然语言处理）技术像“语言魔法师”般渗透到生活的每个角落：智能客服、自动翻译、新闻摘要……但训练一个高精度NLP模型就像“建造魔法城堡”——需要海量数据、昂贵算力和复杂的调参技巧，这让许多中小团队望而却步。用开源工具降低NLP模型训练门槛，带您搭建一个“平民也能用的魔法工坊”。我们将覆盖从平台设计理念到具体代码实现的全流程，适合从零开始搭建或优化现有训练平台的场景。用“小镇图书馆”的故事类比NLP训练平台；拆解开源框架、分布式训练、数据流水线三大核心组件；
Ludwig:一个用于训练和测试深度学习模型的无代码平台-开源
04-29
Ludwig是在TensorFlow之上构建的工具箱，无需编写代码即可训练和测试深度学习模型。 您只需要提供一个CSV文件，其中包含您的数据，一列用作输入的列以及一列用作输出的列，其余的将由Ludwig完成。 简单的命令可用于在本地和分布式方式训练模型，并使用它们来预测新数据。
大模型：2024开源项目汇总
z099164的博客
07-26 2958
当大模型成本逐渐降低，可靠性提升后，这意味着越来越多的业务应用将会与 LLM 结合，为了让这种结合更加顺畅，需要有与现有来支撑 LLM 应用开发的快速开发应用构建工具: 插件中心, 流程编排, Prompt工程, RAG, Agent模型开发工具: 训练数据管理, 模型调优, 模型评测, 模型部署对比说明可参考：**2.1 Dify：**开源的 LLM 应用开发平台。其直观的界面结合了 AI 工作流、RAG 、Agent、模型管理、可观测性功能等，让您可以快速从原型到生产。
国内加载流畅的AI模型训练平台 【Swanlab快速入门】
2401_85578645的博客
06-17 4259
SwanLab是一款开源、轻量级的AI实验跟踪工具，提供了一个跟踪、比较、和协作实验的平台，旨在加速AI研发团队100倍的研发效率。其提供了友好的API和漂亮的界面，结合了超参数跟踪、指标记录、在线协作、实验链接分享、实时消息通知等功能，让您可以快速跟踪ML实验、可视化过程、分享给同伴。借助SwanLab，科研人员可以沉淀自己的每一次训练经验，与合作者无缝地交流和协作，机器学习工程师可以更快地开发可用于生产的模型。
Oumi开源模型训练平台-mac尝试
04-01 283
Oumi是一个完全开源的平台，可以简化基础模型的整个生命周期——从数据准备和培训到评估和部署。无论您是在笔记本电脑上开发，在集群上启动大规模实验，还是在生产中部署模型，Oumi都能提供您需要的工具和工作流程。🚀使用最先进的技术（SFT、LoRA、QLoRA、DPO等）将模型从10M到405B参数进行训练和微调。🌎在任何地方运行——从笔记本电脑到集群再到云（AWS、Azure、GCP、Lambda等）🤖使用文本和多模态模型（Llama、DeepSeek、Qwen、Phi等）📊跨标准基准全面评估模型。
开源NLP训练平台搭建：模型版本控制实践
AI智能探索者的博客
06-30 1101
在NLP项目开发中，模型迭代频繁，参数、训练数据和模型权重经常变化，传统代码版本控制系统无法有效管理这些大文件。本文旨在提供一个完整的开源解决方案，帮助团队实现NLP模型的版本控制、协作开发和可复现性。核心概念与需求分析技术选型与比较系统架构设计具体实现步骤实际应用案例最佳实践与未来展望模型版本控制：跟踪和管理模型及其相关组件（代码、数据、参数、权重）变更的系统MLOps：机器学习运维，将DevOps实践应用于机器学习系统模型注册表：存储、管理和部署机器学习模型的中央存储库。
FastMoE开源分布式MoE模型训练系统
朝闻道
01-23 1291
公众号：系统之神与我同在 FastMoE开源分布式MoE模型训练系统 本文分为三部分： 回顾MOE的发展历程 FastMOE的框架设计 FastMOE v0.2的特性 预训练模型的发展趋势:规模越来越大 MOE结构：扩充模型容量的新途径训 MoE的发展历史 图解（巧妙地运用数据并行来构建MOE专家池）解 图解（T5+MoE） MOE模型研究前沿 使用pytorch和MoE训练您的MOE网络 FastMoE的并行模式 FastMOE的实战成果 FastMOE v0.2 开源分布式MOE模型训
Firefly: 一站式大模型训练工具
sagima_sdu的博客
03-12 3920
Firefly是一个开源的大模型训练项目，支持对主流的大模型进行预训练、指令微调和DPO，包括但不限于Gemma、Qwen1.5、MiniCPM、Llama、InternLM、Baichuan、ChatGLM、Yi、Deepseek、Qwen、Orion、Ziya、Xverse、Mistral、Mixtral-8x7B、Zephyr、Vicuna、Bloom等。本项目支持全量参数训练、LoRA、QLoRA高效训练，支持预训练、SFT、DPO。
更全更快更强！HetuMoE开源：万亿大模型MoE训练系统
南七小僧的学海无涯
04-29 1310
来自于Google的Switch Transformer和GShard，根据Gate网络计算结果，将token分配给打分最高的一个/两个expert。2. Top k来自于Google，根据Gate网络计算结果，将token分配给前k个打分最高的expert。图5. Google Top k Gate示意图3. k Top 1来自于阿里巴巴M6，将experts分为k组，将token分配给每组打分最高的expert。图5. 阿里巴巴M6中的k Top 1 Gate示意图。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值