Datawhale NLP课程 Task6

最新推荐文章于 2025-07-16 23:57:06 发布
最新推荐文章于 2025-07-16 23:57:06 发布
阅读量143 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 机器学习 文章标签： 自然语言处理 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wangruohan1995/article/details/119975695
该博客探讨了序列标注任务，如NER、POS和Chunking，它们是token级别的分类问题。通过预处理，使用Tokenizer将数据转化为模型输入。接着，使用预训练模型进行微调，特别是AutoModelForTokenClassification类适用于seq2seq任务。提供的代码资源可以帮助读者熟悉相关流程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

序列标注 (token级的分类问题)

序列标注，通常也可以看作是token级别的分类问题：对每一个token进行分类。

最常见的token级的分类任务

  • NER (Named-entity recognition 名词-实体识别) 分辨出文本中的名词和实体 (person人名, organization组织机构名, location地点名…).
  • POS (Part-of-speech tagging词性标注) 根据语法对token进行词性标注 (noun名词, verb动词, adjective形容词…)
  • Chunk (Chunking短语组块) 将同一个短语的tokens组块放在一起。

预处理数据

在将数据喂入模型之前，我们需要对数据进行预处理。预处理的工具叫Tokenizer。Tokenizer首先对输入进行tokenize，然后将tokens转化为预模型中需要对应的token ID，再转化为模型需要的输入格式。

微调预训练模型

既然数据已经准备好了，现在我们需要下载并加载我们的预训练模型，然后微调预训练模型。既然我们是做seq2seq任务，那么我们需要一个能解决这个任务的模型类。我们使用AutoModelForTokenClassification 这个类
本次主要是熟悉代码。 代码见https://github.com/datawhalechina/Learn-NLP-with-Transformers。

Reference

https://github.com/datawhalechina/Learn-NLP-with-Transformers

应用Token的流程和作用
neu_zhsh的博客
06-16 2804
应用程序Token的联系 android系统中，Binder有两个重要的用途： 获取Binder地址，进行跨进程调用； 在多个进程中标识身份，确保调用安全。 android中Token就是以Binder的身份出现，主要进行身份的标识，验证。 步骤一 当桌面点击图标，启动一个普通的应用程序的时候。框架AMS解析传入的intent，生成了ActivityRecord对象。 步骤二
【Datawhale AI 夏令营】 NLP自然语言处理 Task1 学习笔记
j1158605465的博客
07-15 888
本人今年研0，刚学到深度学习部分，本来是打算报Datawhale AI夏令营二期CV图像方向的，但是运气不好满了，所以先来NLP试试水。也是按照课程要求报了讯飞的基于术语词典干预的机器翻译挑战赛。更详细的笔记可以参考DataWhale的官方解析Datawhale AI夏令营- 讯飞机器翻译挑战赛baseline解析本文是记录Task1 的baseline学习笔记。提示：以下是本篇文章正文内容，下面案例可供参考讲GRU模型前我们先来了解一下RNN（循环神经网络）
nlp-序列标注
qq_45396577的博客
08-28 937
!pip install datasets transformers seqeval 如果您正在本地打开这个notebook，请确保您已经进行上述依赖包的安装。您也可以在这里找到本notebook的多GPU分布式训练版本。 序列标注（token级的分类问题） 序列标注，通常也可以看作是token级别的分类问题：对每一个token进行分类。在这个notebook中，我们将展示如何使用???? Transformers中的transformer模型去做token级别的分类问题。token级别的分类任务通常指的
关于token的理解
weixin_44562686的博客
06-25 2744
什么是token token的意思是“令牌”，是服务端生成的一串字符串，作为客户端进行请求的一个标识。 当用户第一次登录后，服务器生成一个token并将此token返回给客户端，以后客户端只需带上这个token前来请求数据即可，无需再次带上用户名和密码。 简单token的组成；uid(用户唯一的身份标识)、time(当前时间的时间戳)、sign（签名，token的前几位以哈希算法压缩成的一定长度的十六进制字符串。为防止token泄露）。 使用token机制的身份验证方法，在服务器端不需要存储用户的登录记录。
简单理解token机制
武汉红喜
03-09 8315
什么是tokentoken的意思是“令牌”，是服务端生成的一串字符串，作为客户端进行请求的一个标识。当用户第一次登录后，服务器生成一个token并将此token返回给客户端，以后客户端只需带上这个token前来请求数据即可，无需再次带上用户名和密码。简单token的组成；uid(用户唯一的身份标识)、time(当前时间的时间戳)、sign（签名，token的前几位以哈希算法压缩成的一定长度的十六进...
Datawhale NLP课程 Task4
wangruohan1995的博客
08-24 173
BERT-based Models应用模型 BertForPreTraining BERT 预训练任务包括两个: Masked Language Model（MLM）：在句子中随机用[MASK]替换一部分单词，然后将句子传入 BERT 中编码每一个单词的信息，最终用[MASK]的编码信息预测该位置的正确单词，这一任务旨在训练模型根据上下文理解单词的意思； Next Sentence Prediction（NSP）：将句子对 A 和 B 输入 BERT，使用[CLS]的编码信息进行预测 B 是否 A 的下一
Datawhale NLP课程 Task3
wangruohan1995的博客
08-21 150
BERT结构： BERT Tokenization 分词模型（BertTokenizer） BasicTokenizer负责处理的第一步——按标点、空格等分割句子，并处理是否统一小写，以及清理非法字符。 WordPieceTokenizer在词的基础上，进一步将词分解为子词（subword）。 BERT Model 本体模型（BertModel） 2.1 BertEmbeddings 根据单词符号获取对应的向量表示 2.2 BertEncoder 2.2.1 BertLayer 2.2.1.
Datawhale NLP课程 Task7
wangruohan1995的博客
08-30 196
机器问答模型 加载数据集 和前面一样，使用函数load_dataset和load_metric来下载数据并得到需要的评测指标。 Preprocessing the training data 在将数据喂入模型之前，我们需要对数据进行预处理。预处理的工具叫Tokenizer。Tokenizer首先对输入进行tokenize，然后将tokens转化为预模型中需要对应的token ID，再转化为模型需要的输入格式。 tokenizer既可以对单个文本进行预处理，也可以对一对文本进行预处理，tokenizer预处理
Datawhale NLP课程 Task5
wangruohan1995的博客
08-26 194
Transformers解决文本分类任务、超参搜索 微调预训练模型进行文本分类 9个句子级别的分类任务： CoLA (Corpus of Linguistic Acceptability) 鉴别一个句子是否语法正确. MNLI (Multi-Genre Natural Language Inference) 给定一个假设，判断另一个句子与该假设的关系：entails, contradicts 或者 unrelated。 MRPC (Microsoft Research Paraphrase Corpus)
Datawhale NLP课程 Task2
wangruohan1995的博客
08-17 146
图解Attention seq2seq模型 输入：一个序列；输出：另一个序列 模型细节：seq2seq模型是由encoder和decoder组成，encoder处理输入序列中的每个元素，把这些信息转成一个向量（称为上下文context），整个序列输入完成后，encoder把context发送给decoder，decoder生成输出序列中的元素。在transformer出现之前，encoder和decoder一般用RNN实现。 context向量的长度是基于编码器RNN的隐藏层神经元的数量。RNN在时间步上
DataWhale—PumpkinBook（TASK01）
我就吃一口的BLOG
11-12 708
西瓜书、南瓜书前六章的学习笔记
Datawhale知识图谱 Task01 知识图谱介绍
weixin_46121449的博客
01-11 747
一、知识图谱简介 1.1 引言 从一开始的Google搜索，到现在的聊天机器人、大数据风控、证券投资、智能医疗、自适应教育、推荐系统，无一不跟知识图谱相关。它在技术领域的热度也在逐年上升。 早在 2010 年微软就开始构建知识图谱，包括 Satori 和 Probase；2012 年，Google 正式发布了 Google Knowledge Graph，现在规模已超 700 亿。目前微软和 Google 拥有全世界最大的通用知识图谱，Facebook 拥有全世界最大的社交知识图谱，而阿里巴巴和亚马逊则分别
向李宏毅学深度学习(进阶)#task01#Datawhale X 李宏毅苹果书 AI夏令营
2301_79499190的博客
08-26 1875
根据基于李宏毅老师机器学习课程编著的《深度学习详解》一书，结合自己的思考，阐释了深度学习中全局最优值、局部极值、鞍点等关键概念，以及批量（banch）和动量法
Datawhale AI夏令营第四期魔塔-AIGC文生图方向 task02笔记
m0_74204640的博客
08-14 683
通义千问是阿里云推出的一个大型预训练模型，它能够回答问题、创作文字，还能表达观点、撰写代码。这个模型基于大量的互联网文本进行训练，从而具备了跨领域的知识和语言理解能力。用户可以通过自然语言与通义千问互动，获得帮助、获取信息或进行创作。无论是寻求技术解答、探索文化知识、寻求生活建议，还是需要创意灵感，通义千问都能提供丰富多彩、准确且有帮助的回答。其目标是成为一个灵活、实用、并且富含创造性的智能助手，服务于广大用户的不同需求。
大语言模型（LLM）训练的教师强制（Teacher Forcing）方法
frostmelody 全网同名，大家多多关注呀~ 持续分享优质内容！
07-16 651
准备数据：将一句话“大模型爱学习”转换成数字ID，并复制一份作为标签。inputslabels并行预测：模型接收inputs，并行为每个位置输出一个对下一个词的预测（logits移位对齐：将labels向左移一位，使得模型的预测logits[i]与正确答案对齐。计算损失：在每个位置上，使用交叉熵比较模型的预测和正确答案，计算出损失。累加损失：将所有位置的损失相加，得到总损失。更新模型：根据总损失，使用优化算法（如梯度下降）更新模型的内部参数，完成一次学习。
SFT：大型语言模型专业化定制的核心技术体系——原理、创新与应用全景
最新发布
拒绝AI玄学，只聊真技术▲
07-16 889
SFT 是在预训练语言模型（如GPT、BERT）基础上，利用。
[论文阅读] 人工智能 + 软件工程 | 用大语言模型+排名机制，让代码评论自动更新更靠谱
张较瘦
07-14 1250
本文介绍了论文《LLMCup: Ranking-Enhanced Comment Updating with LLMs》的核心内容。代码评论常因未及时更新导致过时，现有方法存在准确率低、处理复杂场景能力弱等问题。LLMCup提出“更新-排名”范式，先用LLM生成多样化候选评论，再用CupRank模型筛选最优结果。实验显示，其准确率比现有方法提升49.0%-116.9%，语义贴合度更高，甚至超过人类更新的评论。LLMCup为代码评论自动更新提供了更可靠的解决方案，推动了软件开发效率的提升。
#Paper Reading# Apple Intelligence Foundation Language Models
John159151的专栏
07-14 793
论文大体内容 本文介绍了Apple AFM团队的2个基础大模型，分别可在服务端和客户端上运行。这两个大模型是Apple的基础模型，文中描述了从训练到评估模型的各个模块。 Motivation 这是Apple的基础大模型。 Contribution ①技术落地的完整性，本文详细描述了训练AFM的各个模块和步骤。 ②提出了从基础模型扩展到具体任务的整体框架，用于Apple后续各个应用的落地。 ③强调负责任的AI实践，包括整个流程的Principles，以及注重用户的隐私。
颠覆NLP十年范式！OpenCSG中文数据集助推CMU无分词器模型登顶SOTA
OpenCSG的博客
07-16 537
语言模型正迎来划时代的技术跃迁！传统Transformer架构依赖分词器（tokenizer）的范式即将被颠覆，一种全新的端到端建模方式正在崛起。最新研究表明，通过创新的动态分块技术和分层网络架构（H-Net），AI模型首次实现了从原始字节到语义理解的完整闭环，标志着大模型技术正式迈入"后分词时代"。这项突破性技术展现出三大革命性特征：架构革新：H-Net通过动态学习数据分块策略，彻底摒弃了传统分词流程，构建了首个真正意义上的端到端语言模型。
Datawhale AI夏令营第四期：魔搭大模型应用开发注释版BaseLine
**大模型应用开发**：大模型通常指的是一些大型的深度学习模型，这些模型拥有数百万甚至数十亿参数，它们在语言模型、图像识别和自然语言处理等领域表现突出。应用开发指的是根据这些大模型开发出实际可用的应用程序...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值