微信公众号（年更选手）：数据闲逛人 | Github开源项目：数分/数挖study路线 https://github.com/jc-dian/python_data_analysis

文章目录1 微调transformer 模型解决翻译任务1.1 加载数据1.2 数据预处理1.3 微调transformer 模型总结参考1 微调transformer 模型解决翻译任务! pip install datasets transformers "sacrebleu>=1.4.12,<2.0.0" sentencepiecemodel_checkpoint = "Helsinki-NLP/opus-mt-en-ro" # 选择一个模型checkpoint只要预训练的tr

文章目录1 在机器问答任务上微调transformer模型1.1 Preprocessing the trainning data1.2 Preprocessing the trainng data1.3 Fine-tuning微调模型1.4 Evaluation 评估总结参考1 在机器问答任务上微调transformer模型# squad_v2等于True或者False分别代表使用SQUAD v1 或者 SQUAD v2。# 如果您使用的是其他数据集，那么True代表的是：模型可以回答“不可回答”问

文章目录1 微调预训练模型进行文本分类1.1 加载数据小小总结1.2 数据预处理1.3 微调预训练模型1.4 超参数搜索总结1 微调预训练模型进行文本分类GLUE榜单包含了9个句子级别的分类任务, 分别是 :1 鉴别一个句子是否语法正确2 给定一个假设 , 判断另外一个句子与该假设的关系3 判断两个句子是否互为paraphrases4 判断第2句是否包含第1句问题的答案5 判断两个问句是否语义相同6 判断一个句子是否与假设成entail关系7 判断一个句子的情感正负向8 判断两个句子的相

文章目录1 BERT-based Models1.1 BertForPreTraining1.2 BertForSeqence Classification1.3 BertFor MultipleChoice1.4 Bert For Token Classification1.5 BertForQuestionAnswering2 BERT训练和优化2.1 Pre - Training2.2 Fine-Tuning2.2.1 AdamW2.2.2 Warmup总结参考1 BERT-based Models

文章目录前言1 Tokenization分词-BertTokenizer2 Model BertModel2.1 BertEmberddings2.2 BertEncoder2.2.1 BertAttention2.2.1.1 BertSelfAttention2.2.1.2 BertSelfOutput2.2.3 BertOutput2.3 BertPooler总结参考前言1 Tokenization分词-BertTokenizer接下来的代码我感觉太复杂了import collections

文章目录前言1 GPT2和语言模型1.1 什么是语言模型1.2 语言模型的Transformer1.3 与BERT的一个不同之处1.4 Transformer 模块的进化1.5 语言模型入门: 了解GPT21.6 深入理解GPT2 的更多细节1.7 GPT2总结2 可视化 Self- Attention2.1 Self-Attention2.2 图解 Masked Self_attention2.2 GPT2 的Self-Attention2.3 GPT2 全连接神经网络3 语言模型之外3.1 机器翻译3

文章目录前言1 句子分类2 模型架构3 模型输入4 模型输出5 与卷积神经网络进行对比6 词嵌入(Embedding)的新时代6.1 回顾词嵌入6.2 语境问题6.3 ULM-FiT: NLP领域的迁移学习6.4 Transformer :超越LSTM6.5 OpenAI Transformer: 预训练一个 Transformer6.6 Decoder 来进行语言建模6.7 下游任务的迁移学习7 BERT: 从Decoder 到 Encoder7.1 Masked Language Model(MLM语言

文章目录前言1 什么是seq2seq模型？2 基于RNN的seq2seq模型如何处理文本/长文本序列?3 seq2seq模型处理长文本序列时遇到了什么问题？3.1 解决方法4 基于RNN的seq2seq模型如何结合attention来改善模型效果？TransformerTransformer宏观结构Transformer结构细节输入处理词向量位置向量编码器encoder解码器参考前言学习路径:Attention --> Transformer —> BERT —>NLP问题: 为什