牵一只蜗牛去散步

Soft prompt 通常指的是一种较为宽泛或模糊的提示，允许模型在生成结果时有更大的自由度，通常用于启发模型进行创造性的生成；P-Tuning 是在 Prompt-Tuning的基础上，通过新增 LSTM 或 MLP 编码模块来加速模型的收敛；Prompt-Tuning 高效微调只会训练新增的Prompt的表示层，模型的其余参数全部固定；1-1--Prompt-Tuning介绍。3-1--Prefix-Tuning介绍。2-1--P-Tuning介绍。

BitFit，全称是 bias-term fine-tuning，其高效微调只去微调带有 bias 的参数，其余参数全部固定；1--BitFit高效微调。1--BitFit高效微调。

利用 Trainer 可以快速进行模型训练的配置，一般需要设置训练的模型以及训练相关参数等；1--Trainer的使用。1--Trainer的使用。1-1--简单Demo代码。

分类用的是一个简单的线性层，其维度为（768, token.vocab_size），其中token.vocab_sized的大小为21128，即预测21128个词的分类分数，再与真实标签进行损失计算；利用预训练 bert 模型最后一个隐层的[cls] token的特征进行中文分类；利用 bert 模型提取特征，对最后一个隐层的第15个token特征进行分类；对训练数据的第15个词进行 mask 掉，预测第15个词；1-2--基于预训练模型实现下游任务。1-1--使用预训练模型推理。3--中文句子关系推断。

pipeline 一般可以拆分为 tokenizer（分词）、model（模型） 和 post-process（后处理） 三部分；使用 pipeline 可以快速使用预训练好的模型，可以直接进行相关的任务，或作为下游任务的预训练模型。通过 list_metrics 查看所有的评价指标，通过 load_metric 选取合适的评价指标；2--pipeline的使用。2-1--正负面文本分类任务。1--metrics的使用。1--metrics的使用。2-2--阅读理解任务。

1--datasets的使用。1--datasets的使用。1-3--打乱和排序数据集。1-4--选择和筛选数据集。1-1--加载数据集。1-2--查看数据集。1-5--划分数据集。1-6--修改数据集。1-7--导出数据集。

Transformer的 model 一般可以分为：编码器类型（自编码）、解码器类型（自回归）和编码器解码器类型（序列到序列）；Model Head（任务头）是在base模型的基础上，根据不同任务而设置的模块；base模型只起到一个编码和建模特征的功能；AutoModel 用于加载模型；2--AutoModel的使用。2-1--简单Demo。1--Model介绍。1--Model介绍。

例如上述代码中，101 对应 [CLS]，1045 对应 I，2293 对应 love，24113 对应 kobe，12471 对应 bryant，1012 对应 . 符号，102 对应 [SEP]；input_ids 存储了每一个句子分词后对应的 ID，0 表示 padding 的词；由于上面测试代码设置了padding，因此会将每一个句子自动padding为最长句子的长度，padding的词用 0 来表示。1--AutoTokenizer的使用。1-1--简单Demo。2-1--简单Demo。