【学习笔记】李宏毅2021春机器学习课程第7.2节：自监督学习（二）

最新推荐文章于 2024-05-08 10:37:29 发布
最新推荐文章于 2024-05-08 10:37:29 发布
阅读量441 收藏 2
点赞数 4
分类专栏： 机器学习 文章标签： 机器学习 人工智能 深度学习 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43992003/article/details/119332773
版权
本文探讨了BERT模型的工作原理，展示了它如何通过上下文理解词义并生成语境化的词向量。此外，还介绍了多语言BERT在跨语言阅读理解和翻译任务中的表现。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

1 为什么BERT有用?

最常见的解释是，当输入一串文本时，每个文本都有一个对应的向量。对于这个向量，我们称之为embedding。

image-20210601220428320

它的特别之处在于，这些向量代表了输入词的含义。例如，模型输入 “台湾大学”，输出4个向量。这4个向量分别代表 “台”、“湾”、"大 "和 “学”。

更具体地说，如果你把这些词所对应的向量画出来，或者计算它们之间的距离，你会发现，意思比较相似的词，它们的向量比较接近。例如，"鸟 "和 "鱼 "是动物，所以它们可能更接近。

image-20210601221038391

你可能会问，中文有歧义，其实不仅是中文，很多语言都有歧义。BERT可以考虑上下文，所以，同一个词，比如说 “苹果”，它的上下文和另一个 "苹果 "不同，它们的向量也不会相同。

水果 "苹果 "和手机 "苹果 "都是 “苹果”，但根据上下文，它们的含义是不同的。所以，它的向量和相应的embedding会有很大不同。水果 "苹果 "可能更接近于 “草”，手机 "苹果 "可能更接近于 “电”。

现在我们看一个真实的例子。假设我们现在考虑 "苹果 "这个词，我们会收集很多有 "苹果 "这个词的句子，比如 “喝苹果汁”、"苹果MacBook "等等。然后，我们把这些句子放入BERT中。

image-20210601222431820

接下来，我们将计算"苹果"一词的相应embedding。输入"喝苹果汁"，得到一个"苹果"的向量；输入"苹果MacBook"，又得到这个”苹果“的向量。那事实上我们可以看到这两个向量离得比较远，这是因为在Encoder中存在Self-Attention，根据 "苹果"一词的不同语境得

最低0.47元/天 解锁文章
【学习笔记】李宏毅2021春机器学习课程第7.1节：自监督学习（一）
Harryline的博客
08-01 758
文章目录1 什么是自监督学习2 训练 BERT 的方法一：Masking Input3 训练 BERT 的方法二：Next Sentence Prediction4 BERT 的应用案例解析4.1 情感分析4.2 词性标记4.3 自然语言推断4.4 基于信息抽取的问答5 BERT 的训练并不容易6 BERT 胚胎学 1 什么是自监督学习 首先我们来回忆一下监督学习，当我们做监督学习时，我们只有一个模型，这个模型的输入是x，输出是y。假设我们做情感分析，那就是让机器阅读一篇文章，而机器需要对这篇文章进行
【学习笔记】李宏毅2021春机器学习课程第7.3节：自监督学习（三）
Harryline的博客
08-03 871
文章目录1 会写假新闻的GPT模型2 怎么使用GPT模型?2.1 “Few-shot” Learning2.2 “One-shot” Learning2.3 “Zero-shot” Learning3 GPT模型在语音和影像上的应用3.1 Image —— SimCLR3.2 Image - BYOL3.3 Speech Application 1 会写假新闻的GPT模型 除了BERT以外，还有一个很有名的模型，那就是GPT系列的模型。 BERT做的是填空题，GPT要做的任务是预测接下来会出现的token
TextGeneration:GPT2 bert2bert
03-14
自述文件 基于pytorch / transformers和pytorch_lightning 火车数据描述 json [ { " title " : " xxxx " , " body " : " xxxxx " }, { " title " : " xxxx " , " body " : " xxxxx " } ... ] GPT2 预训练模型：CKIP Lab GPT2-base 两种生成方法： 上下文校准 法线束搜索 微调 python train_script.py --model_type gpt2 --train_data data/covid_100000.json --max_len 300 --batch_size 4 --num_workers 15 --lr 3e-4 --gpus 1 --max_epochs 4 --save_to
【李宏毅2021机器学习深度学习】7-1和7-2 自监督式学习（Self-supervised Learning）
py今天刷题了吗
12-23 1212
文章目录1——芝麻街与进击的巨人2——BERT简介Self-supervised LearningMasking InputNext Sentence PredictionPre-train，Fine-tune，微调这就可以用在下游任务中（Downstream Tasks）测试BERT的能力（GLUE）How to use BERT（训练BERT是self-supervised，下游任务需要有少量label，合起来也可称为semi-supervised（自监督，有少量标注资料和大量未标注的资料））Case1
BERT(二)--论文理解：BERT 模型结构详解
09-22 5345
1. 整体结构 2. 输入处理 3. 输出处理 3.1 nsp 3.2 predict
NLP 第五周 语言模型，bert（2）
weixin_44586881的博客
09-16 1741
如有侵权，本人立马删除
使用“BERT”作为编码器和解码器(BERT2BERT)来改进Seq2Seq文本摘要模型
数据派THU
07-16 1461
来源：Deephub Imba 本文约1500字，建议阅读5分钟在本文中，想展示如何使用仅编码器模型的预训练权重来为我们的微调提供一个良好的开始。BERT是一个著名的、强大的预先训练的“编码器”模型。让我们看看如何使用它作为“解码器”来形成编码器-解码器架构。Transformer 架构由两个主要构建块组成——编码器和解码器——我们将它们堆叠在一起形成一个 seq2seq...
【学习笔记】李宏毅2021春机器学习课程第5.2节：Transformer（二）
Harryline的博客
07-21 420
文章目录1 解码器 (AT版) 的具体架构2 解码器 (NAT版) 的特别之处3 编码器与解码器之间的信息传递4 怎么来训练我们的Transformer呢5 训练 Seq2seq model 的一些 Tips5.1 Copy Mechanism5.2 Guided Attention5.3 Scheduled Sampling 1 解码器 (AT版) 的具体架构 Decoder其实有两种，比较常见的是 Autoregressive Decoder。 根据上文内容预测下一个可能跟随的单词，就是常说的自左向
【学习笔记】李宏毅2021春机器学习课程第一节：机器学习基本概念简介
Harryline的博客
07-11 634
7月10日 一、李宏毅2021春机器学习课程-第一节 试了不同的参数,然后计算它的Loss，画出来的这个等高线图叫做Error Surface，是机器学习的第二步。 来自model本身的限制叫做model bias ReLU ReLU 和 sigmoid哪一个更好呢？ Deep Learning名称的由来 **过拟合（overfitting）**问题 反向传播（Backpropagation）：(3条消息) 反向传播——通俗易懂_chengchaowei的博客-CSD
使用bert进行文本二分类
金石软件
09-14 830
在使用训练好的BERT模型进行预测时，我们通过输入句子使用tokenizer进行编码，并传入BERT模型获取输出。在训练过程中，使用交叉熵损失函数和Adam优化器进行训练。在每个训练周期中，将输入数据传递给BERT模型和线性层，计算输出并计算损失。然后更新模型的权重。库加载已经预训练好的BERT模型和tokenizer。然后定义了一个自定义的BERT模型，它包含一个BERT模型层（请确保在运行代码之前已经安装了PyTorch和transformers库，并且已经下载了BERT预训练模型（
Bert2Transformer：深度学习中的文本生成新星
gitblog_00042的博客
04-07 435
Bert2Transformer：深度学习中的文本生成新星 去发现同类优质开源项目:https://gitcode.com/ 是一个开源项目，它利用预训练的BERT模型和Transformer架构，为自然语言处理任务提供了一个强大的文本生成工具。此项目将两个在NLP领域备受瞩目的技术融合，旨在提升文本生成的质量和效率。 技术分析 BERT（Bidirectional Encoder Represe...
【BERT】深入BERT模型2——模型中的重点内容，两个任务
小白冲鸭的博客
12-30 1891
首先先解释以下上一篇博客中经常提到的模型的单向和双向：单向：是指生成句子中某个单词的编码表示时，只结合句子中该单词位置之前的语境，而不考虑之后的语境；双向：是指生成句子中某个单词的编码表示时，同时考虑句子中该单词位置之前和之后的语境。由此可知，Transformer的编码器（主要是多头注意力机制）天然就是双向的，因为它的输入是完整的句子，也就是说，指定某个单词，BERT已经读入了它两个方向上的所有单词。7、BERT的标准配置有两种：BERT-base和BERT-large。
gpt-2 bert_bert和gpt 2的abba解释器
weixin_26704853的博客
09-16 482
gpt-2 bertFor the life of me, I couldn’t understand how BERT or GPT-2 worked. 对于我的一生，我无法理解BERT或GPT-2是如何工作的。 I read articles; followed diagrams; squinted at equations; watched recorded classes; read c...
李宏毅机器学习（八）ELMo、BERT、GPT、XLNet、MASS、BART、UniLM、ELECTRA、others
qq_35222729的博客
08-13 1675
怎么得到这个pre-train好的模型呢？ Pre-training by Translation（翻译） Context Vector（CoVe）： Embedding的words必须要考虑上下文！ 有一个方法是用基于Translation的Model！ 就是用Translation这个任务间接的训练model！ 为什么不用Summary等任务作为工具呢，因为summary是提取某些word的重要性，那么不能做到对所有的word一视同仁！ 同时该任务的缺点也在于需要大量的成对的数据，我们不可能有很多的数
LSTM、Bilstm、ELMo、openAI GPT、Bert模型简介
热门推荐
咖乐部
11-22 1万+
把我： LSTM 里面：遗忘门f_t，记忆门i_t，输出门o_t 输入：上一个细胞隐藏层状态：h_t-1，本时刻输入参数 细胞状态：c_t，临时细胞状态 bilstm里面：两层LSTM输入和输出信息的关系。 一、介绍 1.1 文章组织 本文简要介绍了BiLSTM的基本原理，并以句子级情感分类任务为例介绍为什么需要使用LSTM或BiLSTM进行建模。在文章的最后，我们给出在PyTorch下BiLSTM的实现代码，供读...
【深度学习】NLP之Bert（2）QA
littlemichelle
11-18 3115
BERT是一个多任务模型，它的任务是由两个自监督任务组成，即MLM和NSP。 紫色是没找到答案的，黄色是重点关注的。 BERT 0、为什么要随机Mask？ 在BERT的实验中，15%的WordPiece Token会被随机Mask掉。在训练模型时，一个句子会被多次喂到模型中用于参数学习，但是Google并没有在每次都mask掉这些单词，而是在确定要Mask掉的单词之后，80%的时候会直接替换为[Mask]，10%的时候将其替换为其它任意单词，10%的时候会保留原始Token。 80%：my d
如何应用一个BERT2
最新发布
lw19155275856的博客
05-08 927
如何应用一个BERT2
李宏毅自然语言处理——ELMO/BERT/GPT简介
日积月累，天道酬勤
08-14 2823
本文介绍如何让机器理解人类语言，主要是介绍了ELMO、BERT和GPT。
BERT（三）——BERT 改进
12-25 1093
先都列出来，有时间再详细整理 BERT-Base BERT-Large BERT-wwm SpanBert SpanBert：对 Bert 预训练的一次深度探索 DistillBERT XLNET 飞跃芝麻街：XLNet 详解 ①AR AE方式结合，通过随机取一句话排列的一种，然后将末尾一定量的词给“遮掩”（和 BERT 里的直接替换 “[MASK]” 有些不同）掉，最后用 AR 的方式来按照这种排列方式依此预测被“遮掩”掉的词。 ②在 BERT 这样的位置信息+内容信.
深度解析：李宏毅机器学习笔记中的反向传播与优化策略
在【李宏毅机器学习笔记】系列中，第7篇笔记重点关注了反向传播（Backpropagation）这一关键概念，它是神经网络训练过程中提高效率的关键工具。在理解回归问题（Regression）和梯度下降（Gradient Descent）的基础上...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值