基于Transformer的NLP智能对话机器人实战课程（第十六章、第十七章、第十八章）

“万物皆流，一静一动现天机。入门了 Transformer 的心智应该是拥有基于贝叶斯模型来体悟流动的 Matrix 之美的能力。” 

第16章：Kaggle BERT比赛CommonLit Readability Prize赛题解析、Baseline代码解析、及比赛常见问题

1，以问题为导向的Kaggle Data Competition分析

2，为何Kaggle上的NLP 80%以上都是文本分类比赛，并必须使用Neural Networks？

3，文本复杂度衡量不同类型实现技术分析

4，比赛的Training数据集分析：id、url_legal、license、excerpt、target、standard_error

5，比赛的评价指标分析

6，Readability：NLP Classification or Regression based on neural networks

7，Kaggle比赛通用步骤：Data - Cleaning - Store - GridSearch - Model - Prediction

8，比赛外部数据集分析

9，比赛使用的硬件条件分析

10，Training Set、Validation Set、Test Set

11，比赛的双层Pretraining技术解析

12，Pretraining的三大类型解析：ITPT、IDPT、CDPT

13，传统的Statistics Method建模 + 树模型

14，Statistical features构建源码分析

15，融合统计信息并使用Regression模型解析

16，使用RoBERTa模型解析

17，使用AutoModelForMaskedLM

18，TrainConfig解析

19，模型的Tokenizer解析

20，模型加载

21，对RoBERTa进行pretrain源码解析解决原声BERT和比赛数据领域Discrepancy的问题

22，Model weights保存时的json和bin解析

23，使用Kaggle Notebook加载第一次pretrain后的模型

24，验证集：K-Fold、Sampling等分析

25，Early stoping分析

26，把Examples转为Features

27，DatasetRetriever源码实现详解

28，Input IDs、Attention Mask、Token type IDs

28，CommonLitModel源码之regressor解析

30，CommonLitModel源码之Loss计算

31，CommonLitModel源码之train方法源码解析

32，finetuning中的AutoModel

33，fineturning完整源码解析

34，Local CV解析

35，RoBERTa Base + RoBERT Large结合

36，对不同子模型结果的处理

37，Classification实现解析

38，通过Kaggle Kernel对GPU的使用

39，Submission过程解析

40，为何比赛时不要私下共享数据？

41，kernel赛能够在本地进行训练和微调，然后在上传到Kaggle上吗？

42，如何在kaggle kernel加载外部模型？

43，RobertaModel提示not initialized的情况下该如何处理？

44，kernel无法提交应该如何处理？

45，提交后报错该如何处理？

46，CV和公开榜单应该更加注重哪一个？

47，使用BERT比赛的时候最重要的Hyper Parameter是什么？

48，如何选择GPU训练平台？

49，在Kaggle上运行Notebook的时候一直是等待状态该怎么处理？

50，在kernel中如何运行脚本文件？

51，如何解决BERT训练效果反复波动的情况？

52，为何看到的效果并不是最终的结果？

第17章： BERT CommonLit Readability Prize比赛技术进阶详解

1，Data Label based on pairwise comparisions between excerpts

2，Target中数字为0的原因解析

3，文本对比中的技巧

4，target和std构成联合信息

5，Coarse Validation Loop

6，private test set

7，Hold-out validation、K-fold CV validation、Bootstrap resampling

11，Diversity of models：RoBERTa、BERT、DistilRoBERTa等联合使用

12，模型参数多样化：不同来源、不同层次的参数及Hyper parameters

13，多模型结合的training和inference时间复杂度分析

14，验证集pretraining的意义分析

15，对embeddings的size的处理

16，FFN代码分析

17，warmup数学原理及实现剖析

18，learning rate scheduler剖析

19，RoBERTa模型参数结构详解

20，Data enhancement解析和实现

21，外部数据集应该用在two-phase pretraining的具体什么阶段？

22，多样性模型背后的数学原理机制深度剖析

23，多样性数据来源背后的数学原理剖析

24，多层次数据编码数学原理分析

25，One-hot编码和Dense embeddings的巧妙结合

26，对抗网络的使用分析

27，长文本处理技巧：head+tail

28，模型训练不收敛的解决技巧：动态learning rate

29，联合使用不同类别的预训练模型作为输入的Embedding层来提高收敛速度及避免过拟合背后的数学原理剖析

30，为何concatenation的embedding很适合Classification任务？

31，Trainable Parameters开启与停止

32，Sentence vector：TFIDF、监督任务、及SIF

33，Adversarial training：FGSM产生Adversary examples揭秘

34，为何Adversarial training应用到NLP文本到时候一般都是对Embedding层进行Adversary操作？背后的贝叶斯数学原理及神经网络工作机制

35，Adversarial training的五步骤详解

36，Adversarial training能够极大的提升NLP效果的数学原理剖析

37，Adversarial training及Adversarial example在Readability Prize比赛的应用

38，对每个Batch进行Adversarial training源码解析

39，Data augmentation方法Easy Data Augmentation解析及实现

40，基于BERT模型生成高质量的增强数据

41，孪生网络的使用

42，Dynamic Padding解析及源码实现

43，Uniform Length Batching解析及源码实现

44，Gradient Accumulation解析及源码实现

45，Freeze Embedding解析及源码实现

46，Numeric Precision Reduction解析及源码实现

47，Gradient Checkpoining解析及源码实现

48，使用memory-profiler来对进程及Python内存使用逐行分析

49，使用subprocess监视GPU使用

50，Debiasiing Omission in BertADAM

51，Re-Initializing Transformer Layers

52，Utilizing Intermediate Layers

53，LLRD（Layer-wise Learning Rate Decay）

54，Mixout Regularization

55，Pre-trained Weight Decay

56，Stochastic Weight Averaging

57，将code存储为dataset存储来更好的使用Kaggle的内存和计算资源

第18章：BERT CommonLit Readability Prize比赛中的高分思路及源码解析

1，Ensemble methods解析

2，ML中的机器学习：Bagging、Boosting、GBDT等

3，Kaggle比赛中的Ensemble methods：Vote、Blend、Stacking等

4，为何Kaggle竞赛中的Ensemble methods会获得更好的精度？

5，Bagging ensemble method：row-based sampling、column-based sampling等

6，Bagging ensemble method中的并行训练及预测

7，Boosting串行训练多个模型：多错误样本权重调整、拟合误差

8，Blend和Average：对结果基于精度进行加权求和

9，Stacking：out of fold及交叉验证

10，模型和特征多样性

11，比赛对Bagging的使用

12，比赛对Boosting的使用

13，深度学习中的模型集成方法：Dropout

14，训练阶段调整句子顺序Flipping操作

15，对Ensemble进行Snapshot

16，Stochstic Weight Averaging操作

17，Pseudo Label解析：基于方差的标签构建

18，Kernel赛Pseudo Label和非Kernel赛的Pseudo Lable

19，Pseudo Lable实现四步骤详解

20，Knowlede distillation soft label

21，用于分类的network distillation：embedding layer、transformer layer、prediction layer

22，public LB及private LB

23，借助Roberta-large+和训练集相同books的外部数据集

24，使用Pooling解析及代码实现解析

25，混合使用不同来源的特征工程结果进行集成

26，高分作品1完整源码剖析

27，高分作品2完整源码剖析

28，高分作品3完整源码剖析

29，高分作品4完整源码剖析

30，高分作品5完整源码剖析

Transformer,注意力机制,Attention机制,Transfomer课程,Transformer架构,Transformer模型,对话机器人,NLP课程,NLP,自然语言处理,知识图谱,命名实体识别