CSTGYinZong的博客

Tanh 激活函数与 Sigmoid 函数类似，Tanh 函数也使用真值，但 Tanh 函数将其压缩至-1 到 1 的区间内。对于长度为 K 的任意实向量，Softmax 可以将其压缩为长度为 K，值在（0，1）范围内，并且向量中元素的总和为 1 的实向量。Sigmoid函数也叫Logistic函数，用于隐层神经元输出，取值范围为(0,1)，它可以将一个实数映射到(0,1)的区间，ReLU 函数是深度学习中较为流行的一种激活函数，相比于 sigmoid 函数和 tanh 函数，它具有如下。

如果unfriendly被标记为一个稀有词，它将被分解为un-friendly-ly，这些单位都是有意义的单位，un的意思是相反的，friend是一个名词，ly则变成副词。它不是从一组基本符号开始，更具某些规则进行合并，如BPE或WordPiece，而是从一个庞大的词汇量开始，例如所有预处理的单词和最常见的子字符串，并逐步减少。有的词跟具有特定的意思，另外有些词根没有实际含义，因此通过词根来大概猜测我们没见过的单词的意思。中文：我爱吃苹果 --> 我 / 爱 / 吃 / 苹 / 果。

除此之外，丰富多样的下游任务也使得预训练和微调阶段的设计变得繁琐复杂，因此研究者们希望探索出更小巧轻量、更普适高效的方法，Prompt就是一个沿着此方向的尝试。k 代表小样本中类别的数量，n 代表每个类别有多少数据。这个时候，你可以直接使用之前保存下来的模型的参数来作为这一任务的初始化参数，然后在训练的过程中，依据结果不断进行一些修改。首先使用公共数据集进行训练，而这些数据集可能不会很好完成你真正想完成的内容，这就意味着在解决的实际问题的数据集上，要微调这个预训练模型，而这个任务称为下游任务。

若有两个存在着关系的实体，我们可将两个实体分别成为主体和客体，那么关系抽取就是在非结构或半结构化数据中找出主体与客体之间存在的关系，并将其表示为实体关系三元组，即（主体，关系，客体）。