Self-Supervised Learning（李宏毅老师系列）

最新推荐文章于 2024-10-21 18:42:43 发布
最新推荐文章于 2024-10-21 18:42:43 发布
阅读量720 收藏 17
点赞数 16
分类专栏： 科研路 文章标签： 神经网络 人工智能 深度学习 cnn self-attention bert
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Moliay/article/details/141220056
版权

自学参考：
BERT: Pre-training of Deep Bidirectional Transformers for
Language Understanding
BERT 论文逐段精读
视频课
课件+资料
笔记

一、概述

自监督学习模型与芝麻街~
在这里插入图片描述

  • 参数量

    • ELMO：94M
    • BERT：340M
    • GPT-2：1542M
    • Megatron：8B
    • T5：11B
    • Turing NLG：17B
    • GPT-3：175B
    • Switch Transformer：1.6T

  • “自监督学习”数据本身没有标签，所以属于无监督学习；但是训练过程中实际上“有标签”，标签是“自己生成的”。
    想办法把训练数据分为“两部分”，一部分作为作为“输入数据、另一部分作为“标注”。
    在这里插入图片描述

二、BERT

BERT是一个transformer的Encoder，BERT可以输入一行向量，然后输出另一行向量，输出的长度与输入的长度相同。

作为transformer，理论上BERT的输入长度没有限制。但是为了避免过大的计算代价，在实践中并不能输入太长的序列。
事实上，在训练中，会将文章截成片段输入BERT进行训练，而不是使用整篇文章，避免距离过长的问题。

BERT一般用于自然语言处理，一般来说ÿ

最低0.47元/天 解锁文章
自监督模型 Self-supervised learning（李宏毅2022
linyuxi_loretta的博客
10-27 2256
这个红色的怪物叫做ELMo 、最早的self-supervised learning model作业四的模型也是个transformer，只有0.1个millionCookie Monster等你来凑😼T5是Google做的，跟车子也没什么关系，在没有label情况下，自己想办法做supervised；将没有标注的资料分成两部分，一部分作为输入，一部分作为标注，进行训练；自监督学习是unsupervised learning中的一种方法；
李宏毅机器学习--self-supervised：BERT、GPT、Auto-encoder
iwill323的博客
10-25 2452
李宏毅机器学习--self-supervised--BERT和GPT
李宏毅 BERT PPT
01-05
介绍了基于上下文的词嵌入、ELMO、BERT的结构、训练方法、应用场景、GPT等内容。适合初学者进行学习
【深度学习】李宏毅2021/2022春深度学习课程笔记 - Self-supervised Learning（自监督式学习）
热门推荐
知不足而奋进，望远山而前行
01-06 2万+
在训练的时候，BERT的输入是Mask的，如下图所示，输入“台湾大学”中的“湾”字被Mask了，通常Mask有两种方式，一种是替换为特殊的Mask符，还有一种是随机替换为另一个中文字符。Predict Next Token 是生成式的，它可以根据输入的Token预测下一个Token，然后再用预测的Token作为输入继续往下预测Token，直到预测出现终止符停止。有很多方法，如下图所示，实验表明，把这些扰动的方法都用上效果是比较好的。如下图所示，线性层的参数是随机初始化的，而BERT的参数是预训练后得到的。
李宏毅《深度学习》 - BERT
0202zc 的博客
10-25 1347
在监督学习中，模型的输入为x，若期望输出是y，则在训练的时候需要给模型的期望输出y以判断其误差——有输入和输出标签才能训练监督学习的模型。自监督学习在没有标注的训练集中，把训练集分为两部分，一个作为输入，另一个作为模型的标签。自监督学习是一种无监督学习的方法。BERT 是 Transformer 的编码器（Encoder），一般用于NLP中（也可用于图像、语音处理中），它的输入是一排文字，输出是等长的一串向量。训练 BERT 一般是两个任务：从训练集中拿出两个句子 Sentence1 和 Sentence2
李宏毅 bert 讲解
missgrass的博客
01-28 1499
bert就是transformer的encoder 输入seq，输出seq 先决定盖哪几个，再决定怎么盖 然后输出 输出的就是一个向量，里面就是词典所有的单词的概率（是吗） 然后跟我那个真实值，最小化，（就是一个分类问题），训练的时候，bert里面的参数和我们那个liner的参数一起训练。 除了上述的mask之外，还会预测下一个句子 这个输出的yes或者or，意思就是我这两个句子是不是相接的，后来说这个方法其实没有什么用。 然后就是bert其实它的作用就是填空，但是他却可以使用在其他的任务上，这些
李宏毅《机器学习》Bert笔记
m0_46381421的博客
02-24 555
Bert学习笔记和工作原理解释
李宏毅机器学习15—Semi-supervised learning
weixin_57178683的博客
05-02 1298
Semi-supervised learning（半监督学习） 摘要：这节课主要学习了半监督学习，以及半监督学习的两种方法。 目录 一、什么是Semi-supervised learning 为什么要做Semi-supervised learning 二、Semi-supervised learning for generative model 首先看supervised learning for generative model 实际上Semi-supervised learning for
Lesson 11 Self-supervised Learning for NLP: Bert+GPT
最新发布
qq_52641289的博客
10-21 860
听课（李宏毅老师的）笔记，方便梳理框架，以作复习之用。本节课主要以Bert和GPT为例，讲授了self-supervised learning for NLP相关内容。
台大李宏毅机器学习课程之BERT记录
溯源的专栏
04-01 303
1）BERT是自监督的学习，不需要人工标注的标签，所以其实也是无监督学习的一种方式2）BERT的主干网络就是tranformer的encoder部分，所以BERT使用了self-attention的机制3）BERT主要采用完形填空的方式。就是输入一句话，随机遮住某个词，然后预测遮住的词。这种方式其实很好的考虑了上下文，或者说就是基于上下文的语境来表示词的意思。实验证明这种方式得到了一种很好的embedding的方式4）BERT可以很好的用于下游任务。
李宏毅bert记录
qq_55736201的博客
12-06 929
在中，模型的输入为x，若期望输出是y，则以判断其误差——有输入和输出标签才能训练监督学习的模型。在中，。自监督学习是一种无监督学习的方法。
李宏毅-ELMO、BERT、GPT视频笔记
小小挖掘机
08-03 1098
本文根据李宏毅老师2019最新的机器学习视频整理。视频地址：https://www.bilibili.com/video/av46561029/?p=61ppt下载地址：...
李宏毅BERT部分学习
qq_44997147的博客
07-09 329
BERT BERT是Bidirectional Encoder Representation from Transformers的缩写，BERT是transformer的encoder。BERT里面只需要搜集一大堆的句子，不需要有annotation就可以把encoder给tran出来。总而言之，BERT的功能就是一个句子丢进去给BERT，然后每一个句子都会吐一个出来embedding出来就结束了。BERT的Network架构是跟transformer的encoder架构是一样的，transformer的e
2022李宏毅机器学习深度学习学习笔记第五周--BERT
qq_45612705的博客
05-22 699
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、pre-train 模型二、How to fine-tune总结 前言 介绍什么是pre-train模型，有了模型后怎么做fine-tune以及pre-train模型怎么被训练出来。 一、pre-train 模型 pre-train 模型希望把输入的每一个token表示成一个embedding vector，vector包含了token的语义，意思相近的token要有比较相近的embedding ，embedding .
2022李宏毅机器学习深度学习学习笔记第六周--BERT的变体
qq_45612705的博客
05-29 963
文章目录前言一、二、使用步骤1.引入库2.读入数据总结 前言 讲怎末得到pre-train的模型， 一、 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns import warnings warnings.filterwarnings('ignore') import ssl ssl._create_default_htt
[李宏毅老师深度学习视频] BERT介绍
Bessie_Lee
08-27 678
1、self-supervised 2、Bert怕的俩个任务 2.1、masking input 2.2.next sentence prediction 3 pre-train and fine-tune 4、Bert在nlp中的四大案例 4.1、分类问题 4.2、同长输出 4.3、两句子分类 4.4、QA问题（仅限答案在已知文本中） 5、Bert的一些小问题解释 6、why does Bert work? 7、一些奇奇怪怪的Bert结果（玄学）...
李宏毅 BERT 学习笔记
herosunly的博客
07-05 6429
语言模型：https://lilianweng.github.io/lil-log/2019/01/31/generalized-language-models.html Contextual Word Representations: Putting Words into Computers： https://arxiv.org/abs/1902.06006 BERT分析：https://zh...
BERT解读 —— 基础概念
Rainbow
12-09 6087
dropout：防止过拟合 典型的神经网络训练流程：将输入通过网络正向传导，而后将误差进行反向传播。Dropout针对这一过程，随机地删除隐藏层的部分单元。 训练中，对于神经网络单元，按照一定的概率（若dropout=0.5，即以50%的概率移除，停止工作）暂时从网络中随机丢弃。训练中，对于神经网络单元，按照一定的概率暂时从网络中随机丢弃。 步骤： 3.1. 随机删除网络中的一些隐藏神经元，保持...
李宏毅机器学习2021——Bert
weixin_45366750的博客
09-18 746
一、BERT介绍 学习类型：Bert属于self-surprised learning，或者semi-surprised learning。因为数据无标签，需要自己想办法打标签，然后做监督学习。也就是说，x既是输入，也用来打标签。 BERT内部，是transformer的encoder，也就是self- attention——norm——FC——norm的基础上➕residual➕muti-head，输入多长，输出也多长。 二、BERT可以解决的两类任务 （一）填空题 用mask或者random的方法
self-supervised learning
09-21
自我监督学习是一种机器学习方法，通过对数据进行合理的预测任务，从中获得有用的表示。与传统的监督学习不同，自我监督学习不需要人工标注的标签来指导训练，而是利用数据自身的信息进行训练。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值