我,给大模型当“考官”,月薪两万

第7章 大模型的数据与标注7.2 标注工具与方法7.2.3 众包标注与质量控制 1.背景介绍 1. 背景介绍 在过去的几年里,人工智能领域的发展迅速,尤其是深度学习技术的出现,使得大型模型在各个领域取得了显著的成功。然而,为了训练这些大型模型,我们需要大量的高质量的数据来进行训练和验证。这就引出了数据标注的问题。数据标注是指将原始数据转换为可用于训练模型的格式,这需要大量的人力成本。因此, 阅读详情

在最近的招聘市场上,一大波有关“AI数据标注员”的岗位开启了火热招聘,而这一现象背后,离不开大模型热与大厂的大模型布局。这篇文章里,作者就做了一定的讲述和分析,一起来看一下。

“人均月薪两万、本科以上学历、直通百度字节。”

有些许荒凉的年底招聘市场,在最近的短短一周之内,突然冒出了一大批“AI数据标注员”的岗位,正在火热招聘中。

据「自象限」搜索,这些岗位不仅有百度、字节、京东、滴滴、美团等“梦中情厂”,工资月薪十分亮眼,都在1万到2万元之间,且发布时间很短,都在1周到1个月之间。

除了新以外,岗位招聘显然非常急迫。

据招聘软件显示,HR们都异常活跃,一天24小时几乎全程在线,日均回复次数在十次以上,隔几分钟就回复一次。

“最近只要一上线,有关AI数据标注员的招聘消息就疯狂弹,重复地弹。”不少正在求职的人向【自象限】反映,“上次这么疯狂的打招呼,感觉还是主播招聘。”

▲ 图源Boss直聘截图

招聘的火热,很难不让人想到大厂的大模型之战。

不过,据「自象限」观察,“AI数据标注员”招聘不是由这些大厂直接操办,而是通过猎头公司来负责招聘。岗位的名字也是五花八门,有“数据标注”、“AI话术编辑”、“数据标注分析师”、“标注员”、“AI训练师”等等。

虽然叫法不同,但关于这些岗位的职能描述却大差不差,据招聘软件信息显示,其中很大一部分岗位跟现下大热的大模型有关,入职的数据标注员们的日常工作包含,大模型的编辑校对、大模型的数据标注管理、大模型的内容质量评估等。

▲ 图源Boss直聘截图

「自象限」向多位招聘HR进行了咨询,“工作的主要内容是对文心一言大模型回答结果的分析和判断,工作的地点在百度科技园。”有猎头回复道。

高薪资待遇、挂钩大模型、大厂哄抢……有求职者看到了机会,“大模型的风,要带动新一批大厂人扎根了,普通人的机会来了吗?”

但事实上,时间紧、任务重的岗位招聘,要求却并不算低,基本学历要求本科起步,985、211优先本科和硕士优先,在具备语言学、中文信息处理、计算语言学、文学等相关专业背景的同时,还得对一些AI技术的原理有了解。

花椒科技告诉我们,面试的基本流程是,“简历初筛-发笔试题-笔试题通过一轮面试-直接发offer-培训”,在学历方面,猎头强调“必须得是一本才行,211/985优先”。

严格准入门槛,招聘软件上神秘的“AI数据标注员”背后,藏着大厂的大模型棋局。

我,给大模型当“考官”,月薪两万

历时一个多月的面试,中文系毕业的罗文(化名)最终敲定了自己的offer——百度文心一言的AI数据标注员。连她自己都不敢相信,一个纯技术小白现在的日常竟然是给大模型当“考官”。

“毕业三年,没有任何AI经验,转行涨薪,幅度近50%,月薪在9k-15k左右”,罗文告诉我们。

坐在两台电脑前,罗文每天的主要工作有两项:一是做题,直接给大模型进行“填鸭式”教育;二是给文心一言当“判官”,评判给出的答案对不对、好不好。

所谓“填鸭”就是强行把写好的答案喂给大模型,这样的好处就是从数据源上不会出错,以此来提升大模型的训练效果。

罗文告诉「自象限」,数学题、常识题、作文题她都做过,但这还远远不够,“理论上,越专业越好,比如我擅长文学领域,那就专攻文学题,有的同事专业是医学,那就做医学问答题”,罗文道。

罗文的话已经在一些社交平台得到验证,有人曾发布帖称,“急需招募金融专业人员,有偿给文心一言答题,一天30多道,每道题价格在1.5-2.4元。”

▲ 图源社交媒体平台小红书截图

另一项工作就是给大模型当“判卷老师”,就像学生考试一样,每天大模型会生成各种问题的答案,罗文就需要承担老师的角色,判断其生成的答案与题目是否一致,答案是否正确。

若遇到诸如作文一类没有标准化答案且开放性的问题时,则需要评判答案的好坏,比如,系统会随机给一组数据,包含1个问题和3个回答。罗文需要先标注出这个问题属于什么类型,随后给3个回答分别打分并排序。分数区间为0-5分,如果打分低于3分,还要标注出具体原因,例如“答非所问(0分)”、“严重跑题(1分)”、“存在逻辑问题,存在事实性错误,比例较小给2分”等。

这个工作虽然看上去并不难,但却异常重要,甚至可以从外包直通大厂的机会。据上述猎头告诉我们,“虽然合同跟我们猎头公司签,但是还是有六分之一的几率转正,进入百度集团”。这或许也是严格控制学历的原因。

▲ 图源Boss直聘截图

为此,由于百度地图的数据标注,有稳定的地图业务需求及自动驾驶模型、算法模型的训练需求,所以对数据标注的质量要求更高,的确搭建了专门的数据标注团队。

市场上对“罗文”的需求,不止大模型公司。

据统计,目前,市面上的数据标注岗位大致分为两种。

一种以NLP(自然语言)为主要方向,百度、字节、京东、美团等一批大模型科技公司一拥而上,给自家大模型找人工数据训练师。这其中又分为几个细分的方向,譬如数据分析、大模型生成结果判定、辅助大模型逻辑推理等等。

另一个方向则是CV(图像),存在已久,人们更加耳熟能详的是“2D拉框”和“3D拉框”,主要是满足滴滴、毫末、轻舟智航等这类车企,为其智能驾驶业务提供图像数据质检和标注帮助。

▲ 图源Boss直聘截图

观察发现,十一月是NLP方向数据标注的转折点,此前,百度、京东等大厂无论是校招还是社招,都仅开设了很少或压根没有AI数据标注岗位,招聘软件上也只是零星地开放了实习生的岗位,通常不设学历上限,大专学历封顶。

**毫无征兆地突然冒出一批岗位需求,这背后或许与大模型厂商的研发受阻有关。**多位行业人士曾透露,截至目前,国内的大模型水平或许仅能达到GPT-3.5水平,发展的核心还是数据质量问题。

一边是国外OpenAI连放猛招,直逼GPT-5,一边是国内企业喊着“要落地”、“要用上大模型”,双重压力下,又用起了“人海战术”。

技术研发水平不够,人工能力来补齐,国内大模型厂商开始疯卷“AI数据标注员”,为大模型能力“飞升”再加一把燃料。

大厂卷精标,粗标“割韭菜”

事实上,数据标注并不是新鲜事儿,早已有之。以前的形式是粗标,主要表现为“拉框”,但现在粗标发展得乱了套:一是此前大厂粗标多为众包标注平台,工单分散,人员不专业,导致标注质量不行;二是随着大模型的精进,粗标变得越来越不够用,精标的地位由此直线上升。

针对粗标和精标的差异,某大厂员工解释道:“一般厂商的外包团队,能做标注,但他们就是按照框定的规则标注,如果出现规则之外的数据,标注就会存在通过率不高的情况来回反复,但是由工程师团队来做,特别是针对自动驾驶辅助驾驶等回传的数据,他们知道背后的原理,可能不会按照常规的思路标注,会带解决问题的思路来标注,可能需要跳出之前制定的标注规则,这样标注数据的质量会更高。”

大模型爆火,也为粗标刮起了一阵“新钱风”。

目前,粗标求职阵地已经从招聘软件转移到了快手等短视频平台。以快手为例,粗标求职热度与快递员并列,大量数据标注公司入驻快手,覆盖京津冀、长三角和珠三角地区。

▲ 图源快手截图

据了解,快手的直播招聘业务“快聘”曾在发布会中特别提到:“要解决数据标注职类线下招聘难,应聘者少的核心诉求问题 。”

落实到实处,快手从公司资质审核、流量扶持、公司推荐到数据标注职业推广都给予了支持,「自象限」注意到在快手官方招聘直播间中,有时也在全天无间断地滚动地播报有关数据标注求职信息。

这一定程度上也成为了某些数据标注公司的“尚方宝剑”。在招聘时候,宣传之词毫无遮拦,“无需学历,上手即会,小学生都能做”,“拉一个框,打一个标签,就是半个毛”,“拉3000个150元,6000个300元,月入7000-8000洒洒水,只要手速够快”,极尽夸张之词。

但事实究竟如何呢?一万块钱能拿得如此轻松吗?

为探究真假,「自象限」在快手报名联系上了一家热门数据标注公司。该公司声称与比亚迪、理想、小鹏、特斯拉等车企直接签单获得一手数据任务,且出示了大量的证书、凭证强调其正规性。入职后的主要任务就是接任务包,在图片上拉框、标注和打标签。

▲ 图源微信截图

总结下来,有几个基本点:

  • 打框按计件算钱,一个框价格在一毛到一毛五;

  • 薪资首月按周结,第二个月以后按月结算;

  • 新手小白需要先缴纳2580元培训费用,一年内工资累计达到1万,才能退还;

  • 平均七天左右学习培训时间就能上手做任务;

  • 分兼职和全职,兼职按框计算,全职线下坐班,另免费提供住宿;

在其展示的员工工资截图中,月工资在5000-6000元不等。

但在黑猫投诉平台上,上述公司成为了数据标注投诉的重灾区。

一些投诉用户的经历与我们相吻合。综合用户的反馈,投诉主要集中在以下几个问题:

  • 不会拉框需要先缴纳2580元费用,一年做拉框任务满一万元,但是出现了拒不退款的问题;

  • 培训内容非常简单,且耗时长,耽误用户上岗;

  • 不给通过和达标,总是卡拉框的合格率,最终影响收入;

  • 态度豪横,无视用户的诉求,不处理、不退款。

▲ 图源黑猫投诉平台截图

以上的问题也只是冰山一角,「自象限」虽然没有缴费报名成功,但在咨询后的一段时间内,也频繁地收到电话、微信的轮番轰炸,从早安到晚安,问候从未落下,还时不时地用其他员工的工资表进行挑逗、刺激。

▲ 图源微信截图

一次严肃的数据标注求职,俨然沦为了一场“割韭菜”游戏,老老实实拉框的员工颗粒无收,反而是收培训费的数据标注公司赚得盆满钵满。

数据质量决定了大模型走得速度,即使是OpenAI也不例外。

外媒报道称,OpenAI一方面找了多家知名的数据公司来数据标注,一方面也自己组建了一个几十名哲学博士团队来做数据质检。

大模型的根基在数据,数据质量直接决定了大模型进化的速度,从数据标注的乱象中,我们或许能一窥为什么中国大模型发展进度慢的原因,但既然大模型厂商们也意识到了数据标注的源头问题,离我们真正突破到GPT-4,或许也就不远了。

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

123?spm=1001.2014.3001.5501)这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

信息安全与技术——(十一)恶意代码检测与防范技术 恶意代码(Malicious Code )或恶意软件(Malware )主要是指以危害信息的安全等不良意图为目的的程序,它们一般潜伏在受害计算机系统中实施破坏或窃取信息。 阅读详情

相关推荐

暗黑地牢modfiles.txt文件生成工具

暗黑地牢modfiles.txt文件生成工具引言方法工具源码基本步骤 引言 玩过暗黑地牢mod,并手动修改了mod中文件的话,如果不同步修改modfiles.txt文件,就会引起各种问题,典型的比如马车刷不出mod英雄,商店和boss都不再出现mod饰品,怪物贴图丢失出现黑块等,要解决这个问题,就要修正mod文件夹下的modfiles.txt文件 方法 针对修改量大小,一般有几种方法: 如果修改较少,而且你还记得修改了哪几个文件,找到这几个文件,右键属性,查看大小,要用的是括号里面的字节数,然后打开mod

lttclaw_的专栏 5004

月薪两万,大厂疯抢 AI 数据标注员

针对粗标和精标的差异,某大厂员工解释道:“一般厂商的外包团队,能做标注,但他们就是按照框定的规则标注,如果出现规则之外的数据,标注就会存在通过率不高的情况来回反复,但是由工程师团队来做,特别是针对自动驾驶辅助驾驶等回传的数据,他们知道背后的原理,可能不会按照常规的思路标注,会带解决问题的思路来标注,可能需要跳出之前制定的标注规则,这样标注数据的质量会更高。以前的形式是粗标,主要表现为“拉框”,但现在粗标发展得乱了套:一是此前大厂粗标多为众包标注平台,工单分散,人员不专业,导致标注质量不行;

2401_84204207的博客 4641

allegro 约束管理Constraint Manager(一)

介绍Cadence allegro 约束管理器CM的使用方法。

weixin_38975819的博客 8725

大模型标注:你看不上的数据标注正在成为高薪工作

大模型的出现激发出了不少新兴岗位,也让越来越多岗位备受人关注。数据标注这个岗位就是其中之一。想了解更多有关数据标注、大模型标注的同学,或许可以看看这篇文章。2022年底,ChatGPT引爆大语言模型,全球科技巨头纷纷入局,后来各家不仅限于自然语言技术,更是将文生图、文生音频、文生视频、图生视频等多模态技术“玩”出了新高度,近期大模型生成的兵马俑,还跳起了“科目三”的热舞。

2301_76168381的博客 2253

Vibe Writing 手把手教程:Obsidian + Claudian + Skill

本文介绍了Vibe Writing的实操教程,主要使用Obsidian+Claudian+Skill组合。教程包含工具安装配置(Obsidian、Claudian插件)、核心工作流(选题-调研-写作-发布)和效果对比。重点展示了Claude Code生成的文本更具"人味"和场景感,优于其他AI工具。作者强调工具只是辅助,内容灵魂仍需个人思考积累。附有公众号排版和全网发布工具推荐,以及自动配图生成方案。

302

PyTorch深度学习实战(47)——使用PyTorch构建Transformer模型

相较于传统模型,如循环神经网络 (RNN),Transformer 的优势在于能够理解输入和输出序列中元素之间的关系,在大语言模型 (如 ChatGPT 和 DeepSeek) 的发展中起到了关键作用,为了从零开始构建 Transformer,首先探讨自注意力机制,包括查询 (query)、键 (key) 和值 (value) 向量,以及缩放点积注意力 (SDPA)。将层归一化和残差连接集成到多头注意力层中,并与前馈层结合,构建编码器层,堆叠编码器层构建编码器,还将实现 Transformer 中的解码器。

盼小辉丶的博客 3万+

这一职业,突然爆火!有人简历刚投,就被“抢光”……

人工智能快速发展让相关领域人才需求大幅增长某招聘平台数据显示今年春节后至今业内人士表示随着大语言模型的快速发展以及涉及的领域越来越多人工智能训练师的需求还会继续增加。

bagell的博客 1555

基于STM32L4XX、HAL库的AD7768BSTZ 模数转换器ADC驱动程序设计

/ 默认SPI配置。// 读取通道数据命令。// 通过SYNC_IN引脚触发转换(如果使用)// 处理数据...// 或者通过SPI命令。// 初始化AD7768。// SPI1引脚配置。

zhusl6688的博客 462

小学生也能听得懂的大模型 - Transformer 1

参考 [小学生也能听得懂的大模型 Transformer 1]

2401_85325557的博客 1737

一根网线,让整个公司断网,二层环路真实事故复盘

那天晚上 23:47,监控告警突然爆了。核心交换机 CPU 100%。ARP 表暴涨。广播流量飙升。业务系统集体超时。5 分钟后,全公司断网。运维群里一句话:“是不是黑客攻击?但老网工都知道,这种现象只有一种可能:二层环路。

网络技术联盟站 350

【乐企文件生成工程】乐企文件生成支持所有特定要素类型发票

【代码】【乐企文件】乐企文件生成最新更新!!!

九七的博客 851

月薪两万的大模型’考官’:我的职业故事

在最近的招聘市场上,一大波有关“AI数据标注员”的岗位开启了火热招聘,而这一现象背后,离不开大模型热与大厂的大模型布局。这篇文章里,作者就做了一定的讲述和分析,一起来看一下。“人均月薪两万、本科以上学历、直通百度字节。有些许荒凉的年底招聘市场,在最近的短短一周之内,突然冒出了一大批“AI数据标注员”的岗位,正在火热招聘中。据「自象限」搜索,这些岗位不仅有百度、字节、京东、滴滴、美团等“梦中情厂”,工资月薪十分亮眼,都在1万到2万元之间,且发布时间很短,都在1周到1个月之间。

2401_84204413的博客 2081

14 Prompt 的边界:什么时候必须用 RAG 或微调

Prompt 不是万能解法。本文用“改输入、补知识、改模型”这条主线,讲清什么时候继续优化 Prompt,什么时候必须引入 RAG、工具调用或微调,帮助你避免用重技术掩盖轻问题。

老于的笔记的专栏 209

为什么人工智能标注师一直在招聘

有好多人说不需要什么门槛,其实想一想,身边不需要门槛的工作多了去了,而数据标注其实也和个人的技能素养有很大的关系,比如能不能把一段文字做好内容,语法标记,可能需要用到的语文水平绝对不是初高中就够用的,再比如一些语义分割,可能需要专业的PS技术才能做到发丝级分割水平,所以那些说没什么门槛的,职业竞争力很低的人,大概是因为没有接触过多少种类的数据标注,其实说白了,数据标注也想其他行业一样,需要前期学习,也需要自己的努力,一个月月入七八百的和月入八九千的数据标注员我都见过,这取决于自己的能力和付出。

m0_74989588的博客 2867

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

AI 大模型的数据标注原理

想在AI面试中展现对数据标注的深刻理解?这篇超3万字博客是不二之选!深度剖析AI大模型数据标注原理,从常见标注类型到源码示例,详解标注流程与挑战。掌握这些,面试谈数据标注不再词穷,助你拿下AI相关职位,开启精彩职业生涯 。

Android开发领域创作者 2882

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

我和数据标注的那些事儿

“最近在知乎上面看到很多有关“数据标注怎么样”、“有发展前景吗”、“值得学吗”诸如此类的问题,我想用几句话概述可能会比较抽象,下面用亲身经历告诉大家我眼中的数据标注。”

weixin_41668948的博客 5130

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

一文搞懂大模型数据标注(Label Studio)

* Label Studio是一个开源的数据标注和数据管理平台,由Human Signal开发并维护。它旨在提供一个直观、灵活且可扩展的平台,**

m0_70486148的博客 3762

如何选择大模型数据标注工具?X-AnyLabeling 与 Label Studio 应用解析

在LLM(大型语言模型)时代,数据标注是模型训练的关键环节,X-AnyLabeling和Label Studio是两款常用的数据标注工具。

2401_85373691的博客 2207
上一篇: 说人话,大模型领域黑话解读
下一篇: 初探大模型成功的关键,到底谁能做好大模型?
我爱学大模型
博客等级 码龄3年 7883粉丝 687原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值