- 博客(6)
- 收藏
- 关注
RSS订阅原创 【NLP之transformer | Datawhale-9月】Task05：编写BERT模型
1 Tokenization分词-BertTokenizer好多代码还没理解，先等理解了再来补齐
2021-09-21 23:39:20
137
原创 【NLP之transformer | Datawhale-9月】Task04：学习GPT
1 什么是语言模型1.1 自编码（auto-encoder）语言模型自编码语言模型的优缺点：优点：自然地融入双向语言模型，同时看到被预测单词的上文和下文缺点：训练和预测不一致。训练的时候输入引入了[Mask]标记，但是在预测阶段往往没有这个[Mask]标记，导致预训练阶段和Fine-tuning阶段不一致。自回归（auto-regressive）语言模型：语言模型根据输入句子的一部分文本来预测下一个词。日常生活中最常见的语言模型就是输入法提示，它可以根据你输入的内容，提示下一个单词。1.2
2021-09-19 23:00:51
256
原创 【NLP之transformer | Datawhale-9月】Task03：学习BERT
图解BERTBERT的预训练+微调（finetune）：先在大规模无监督语料上进行预训练；然后在预训练好的参数基础上增加一个与任务相关的神经网络层；并在该任务的数据上进行微调训，最终取得很好的效果。现已成为NLP主流解决方案。1 BERT句子分类步骤：下载无监督预料上的BERT模型，包含：BERT模型配置文件（用来确定Transformer的层数，隐藏层大小），BERT模型参数，BERT词表（BERT所能处理的所有token）。在BERT模型上增加一个任务相关的神经网络，然后在特定任务监督
2021-09-17 22:51:40
731
原创 【NLP之transformer | Datawhale-9月】Task02：学习Attention和Transformer
1 图解Attention问题：Attention出现的原因是什么？潜在的答案：基于循环神经网络（RNN）一类的seq2seq模型，在处理长文本时遇到了挑战，而对长文本中不同位置的信息进行Attention有助于提升RNN的模型效果。（1）名词理解：1、循环神经网络：循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归且所有节点（循环单元）按链式连接的递归神经网络。为什么需要循环神经网络：普通的神经网络都
2021-09-16 00:27:58
525
原创 【NLP之transformer | Datawhale-9月】Task01：熟悉规则，学习概览
1 环境配置1.1 下载项目文件直接点击Download ZIP即可下载全部内容。解压后示意图：1.2 配置本项目本地运行环境1.2.1 本地Typora打开项目文件夹使用软件Typora打开Markdown文件，对文件进行预览：1.2.2 本地环境配置（以Win10为例）1.打开vscode（已安装汉化包），新建一个Terminal（终端），用于安装一个新的python环境和相应的python依赖包：2.在Terminal中通过virtualenv软件安装python环境到ven
2021-09-14 00:32:54
440
原创 [2021-7-13]已解决：Could not find a version that satisfies the requirement cmake(from version:)
已解决：Could not find a version that satisfies the requirement cmake(from version:)问题描述：借鉴：https://blog.youkuaiyun.com/weixin_34414196/article/details/85999903错误信息：Could not find a version that satisfies the requirement cmake(from version:)因为要安装人脸识别库中的dlib，所以需要
2021-07-13 21:07:49
1841
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人