学习笔记|BERT——自监督学习的典范

最新推荐文章于 2025-07-25 20:40:24 发布
原创 最新推荐文章于 2025-07-25 20:40:24 发布 · 2.1k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#学习 #bert #transformer

本文介绍了自监督学习的概念，与监督学习的区别在于无需人工标注数据，以BERT模型为例，阐述其在自然语言处理中的应用。BERT通过Masked Language Model和Next Sentence Prediction进行预训练，然后针对具体任务进行微调，广泛应用于问答系统、文本分类等场景。

1. 自监督学习的概念

在机器学习中，最常见的是监督学习（Supervised learning）。假设模型的输入是xxx，输出是yyy，我们如何使模型输出我们期望的yyy呢？我们得拥有已标注的（label）的数据，例如图片识别，我们得有一堆的图片，并且这些图片被标注了是什么。然后通过这些已标注的数据对模型进行训练，使模型的输出yyy尽可能地接近标签y′y'y′，这是监督学习。那么什么是自监督学习呢？假设我们拥有一堆的数据，但是没有标注，我们想办法将这堆数据xxx分成两个部分，一部分作为

最低0.47元/天 解锁文章
【李宏毅深度学习CP18-19】自监督学习之BERT
发现问题，并解决问题，批判性思维
08-20 3002
学习心得 （1）BERT（Bidirectional Encoder Representation from Transformers）相关的很多算法名字来源于芝麻街哈哈。BERT的架构实际上是transformer中的Encoder，同样里面有很多Self-Attention和Residual connection，还有Normalization等等。 （2）BERT的基本模型结构由多层Transformer构成，包含2个预训练任务：掩码语言模型（Mask Language Model，MLM）和下一个句
AI产品经理手册（Ch3-5）AI Product Manager‘s Handbook学习笔记
最新发布
weixin_44923674的博客
07-29 1516
AI Product Manager's Handbook Ch3-5 提供了深度学习技术的全面知识，讲解深度学习与机器学习的区别、多种神经网络和生成式 AI 模型的类型、应用及优劣势，还涉及相关新兴技术、可解释性、伦理责任和成功指南等内容。旨在帮助产品经理在相关产品管理中：做出战略决策、选择合适的模型、应对伦理与合规问题，并提升产品成功概率。
自监督学习BERT--李宏毅机器学习笔记
knofrab的博客
04-07 600
自监督学习无需人工标注，利用无标签的数据本身构造“输入-输出”对，实现类似有监督的训练。BERT 的预训练过程便是一种自监督学习：随机遮盖（mask）部分文本，然后让模型去预测被遮盖的内容，从而“自我监督”地学习语言知识。BERT 是 Transformer 结构的 Encoder，它接收一个序列输入并输出相同长度的序列向量。在训练过程中。我们知道被mask的字符是什么，而BERT不知道，我们可以用一个来表 示这个字符，并使输出和one-hot vector之间的交叉熵损失最小。
机器学习--06自监督学习BERT模型
m0_47588836的博客
11-28 627
self-supervised learning里面有一些模型这些模型都是巨大的模型，这次就来以bert模型为例子来讲解self-supervised。我们之前学习的模型都是supervised，就是通过输入标注数据给我们设计的模型，然后得到想要的输出结果，而self-supervised就是让数据自己想办法给自己打上标注==》把数据分为两部分，一部分输入到模型里面得到输出，一部分作为模型的标注，然后把得到的输出和模型的标注进行比较，越相近越好。
ALBERT: 自监督语言表示的轻量级BERT
十里清风
08-22 1792
文章目录引言词向量因式分解（Factorized embedding parameterization）跨层参数共享（Cross-layer parameter sharing）内部句子一致性损失（Inter-sentence coherence loss） 【Reference】 引言 预训练模型使得一些缺乏训练数据的下游任务表现良好，大力出奇迹，大型网络是获得SOTA性能的关键，但随着模型大小的增加，内存占用和训练时间都会增加。那么是否有比大型模型更简单、性能更好的模型？ ALBERT使用两种缩减参数
albert_zh：用于自我监督学习语言表示的精简BERT，海量中文预训练ALBERT模型
02-06
albert_zh 使用TensorFlow实现的实现 ALBert基于Bert，但有一些改进。 它以30％的参数减少，可在主要基准上达到最先进的性能。 对于albert_base_zh，它只有十个百分比参数与原始bert模型进行比较，并且保留了主要精度。 现在已经提供了针对中文的ALBERT预训练模型的不同版本，包括TensorFlow，PyTorch和Keras。 海量中文语料上预训练ALBERT模型：参数充分，效果更好。预训练小模型也能拿下13项NLP任务，ALBERT三大改造登顶GLUE基准 一键运行10个数据集，9个层次模型，不同任务上模型效果的详细对比，见 一键运行CLUE中
【机器学习】李宏毅——自监督式学习
FavoriteStar的博客
09-18 2064
本文介绍了近几年比较火热的自监督式学习，并介绍了其中最具有代表性的BERT算法和GPT算法，其中对BERT算法进行了详细叙述。
增量学习在AI原生应用中的迁移学习
AI算力网络与通信的博客
07-25 902
想象一下，你拥有一个2023年最先进的AI智能助手。它能流利地与你对话，帮你安排日程，甚至理解你的情绪波动。你带着它搬到了一个新的国家，希望它能帮助你适应当地生活。这个场景揭示了现代AI系统的一个根本局限：它们通常是在固定数据集上训练的"静态智能"，难以像人类一样持续学习新知识而不忘记旧技能。在快速变化的现实世界中，这种"一次性学习"模式越来越无法满足需求。
基于BERT的德语情感分析：Corona Warn App评论研究
BERT_SA_Corona_Warn_App 这一项目聚焦于利用先进的自然语言处理技术——特别是基于 BERT（Bidirectional Encoder Representations from Transformers）的变压器模型，对德国“Corona Warn App”（新冠警告应用程序...
基于护理笔记情绪分析预测ICU患者死亡率
nursing-note-sentiment: 使用护理笔记情绪来预测ICU患者的死亡率”这一项目聚焦于将自然语言处理（NLP）技术与临床医学数据深度融合，旨在通过分析重症监护病房（ICU）患者护理笔记中的情感倾向，构建机器学习模型...
【轩说AI】自监督学习 + BERT
m0_57089390的博客
02-27 734
监督学习的部分则作为网络的下游，将Bert的输出作为Linear层的输入，再输出得到分类结果class，与真实的词性label求loss，做参数优化。如图将[cls]+qestion+[sep]+document输入BERT，然后随机初始化两个和bert输出的vector同维度的vector，如图红色和蓝色的vector，然后做类似attention的Q*K的操作，将得到的一组和document同等长度的inner product值过softmax，红色向量求出s的值，蓝色向量求出e的值。
自我监督学习和BERT模型
gldzkjdxwzs的博客
07-31 450
自我监督学习、BERT
【PTM】ALBERT：自监督学习的轻量级 BERT
阿泽的学习笔记
05-20 984
今天阅读的是 Google 同学 2019 年的论文《ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS》。 我们知道模型效果会随着模型深度的增加得到提升，然而模型深度的增加也会使得训练变得更困难，为了解决这个问题，Google 的同学提出了一个轻量级的 BERT：ALBERT，参数比 BERT-large 更少，且效果更好。 1.Introduction 通常来说，模型深度与模型效果成正比，但是模型越深也
李宏毅机器学习（七）自监督学习（二）BERT奇闻轶事
qq_35222729的博客
08-11 310
WHY does BERT work？ BERT会考虑上下文！ 进行Word Embedding！将一个单词表示成向量，比如苹果单词中的“果”和苹果公司中的“果”，在经过Embedding后虽然同样是同一个词，但是由于上下文不同，所以vector距离是远的！ 不一样的表示！ 但是相同语境的“果”则距离比较近！ 接下来我们计算两个果的相似度！ 可以看出对角的关系还是比较近的 为什么你能知道一个单词的意思呢？ 这个人说了： 你要知道一个单词的意思，就得根据它的上下文决定的！ 所以即使
14. 自监督学习(Self-supervised Learning)(二) — BERT简介
FionaDong的博客
05-09 277
P47 自监督学习(Self-supervised Learning)(二) — BERT简介Self-supervised Learning：Bert 原理：评估：How to use BERT：Pre-training a seq2seq model：
自监督表征预训练之对比学习
weixin_44966641的博客
02-23 1903
自监督表征预训练之对比学习
基于transformers框架实践Bert系列6-完形填空
代码让AI扣
05-21 1829
本系列用于Bert模型实践实际场景，分别包括分类器、命名实体识别、选择题、文本摘要等等。（关于Bert的结构和详细这里就不做讲解，但了解Bert的基本结构是做实践的基础，因此看本系列之前，最好了解一下transformers和Bert等）本篇主要讲解应用场景。本系列代码和数据集都上传到GitHub上：https://github.com/forever1986/bert_task。
机器学习——supervised和unsupervised learning、linear regression、Cost function和Loss function、梯度下降、矩阵
胡图图不糊涂的博客
06-02 1272
一、supervised learning与unsupervised learning 监督学习是利用数据的特征和标签来训练一个模型，使模型能够对任意给定的输入，对其相应的输出做出一个好的预测，即得出一个所谓的正确答案。监督学习可以分为两大类：回归分析和分类，二者之间的区别在于回归分析针对的是连续数据，而分类针对的是离散数据。 非监督学习为直接对数据进行建模，训练数据中只有特征没有标签，而且事先并不知道输入数据对应的输出结果是什么，最终结果为多个结构。。其中包含聚类分析与特征变量关联等算法。即类似于将一个数
自监督学习：范式转换与未来趋势
实际上，近年来自监督学习在计算机视觉、自然语言处理等领域的显著成果，如生成对抗网络（GANs）、自编码器（Autoencoders）和预训练模型（如BERT和Mixer），证明了其在提升模型性能和迁移学习中的核心作用。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值