夏树让的博客

使用 Pytorch 时常用的功能代码：固定随机种子；保存与加载模型参数、优化器状态等；正则化 EarlyStopping；超参的随机搜索 (random search)

多任务学习（Multi-task Learning, MTL）为什么有效？我们可将 MTL 看作是 **归纳迁移**（inductive transfer）的一种形式，归纳迁移通过引入 **归纳偏置**（inductive bias）来提升模型性能

前言本文将简要说明下 Pytorch 中模型的 评估模式 (eval)，训练模式 (train) 和 torch.no_grad 梯度计算上下文管理器的区别与作用

NLP 常用数据增强方法：同义词替换（Synonym Replacement） 、回译（Back Translation）、文本生成（Text Generation）

通过了解，我发现 FastBERT 更有趣些，它采用 **自蒸馏** （self-distilling）技术，即整个蒸馏过程仅需要单个模型，该模型即是老师又是学生，与以往的需要两个模型的蒸馏方案不同（如DistilBERT、TinyBERT），而且它能根据样本的难易程度 **适应性地调整推断时间** （adaptive inference time）。所以本文接下来重点介绍 FastBERT.

注意力机制（Attention Mechanisms），intra-attention 与 inter-attention，soft-attention 与 hard-attention，global-attention 与 local attention.

numpy.array的数据类型dtype问题：以整数数据初始化数组后，重新赋值浮点数（小数）后，数据精度降低。

本文详细描述了 Dropout，介绍了 Dropout 的提出背景、基本概念、设计动机以及实现的一般方法。由于训练集或多或少会存在一些噪音，而且无法保证训练集能够准确反映样本的真实分布，所以在训练集上的过分拟合会造成神经网络泛化能力的不足，在测试集上表现远不如其在训练集上的表现，而我们往往更关注于前者。为了缓解这个问题，就需要采取一些正则化措施（regularization），在保证模型足够强大的同时避免模型过拟合（over-fitting）。

在 Attention Is All You Need 这篇经典论文中，有提到两种较为常见的注意力机制：additive attention 和 dot-product attention。并讨论到，当 $d_k$ 较大时，additive attention 要优于 dot-product attention，这其中的原因是什么？为什么采用 scaled dot-product attention?

样本不均衡分类问题的书籍、论文和工具库。自然语言处理（NLP）领域语料数据库。事件抽取（Event Extraction）相关论文。预训练中文词向量。

在 Pytorch 中实现 early stopping

在 pytorch 中实现超参的随机搜索 random search

Sigmoid型函数的梯度消失问题；死亡ReLU问题；RNNs梯度爆炸问题。