xiaziqiqi的博客

主要是用于介绍PEGASUS模型，而且参考了部分知乎以及原论文

主要用于学习optuna的参数优化寻找最佳参数

本文主要介绍的是bert论文的阅读以及其他的内容。如果有疑问的话可以在下面留言！博主会积极回复的！

本文主要是对比BART和Electra模型的实验结果，具体中有说明BART模型的特点和Electra模型的特点

weight， 为一维张量，具体的大小为M，M为样本的标签数量，代表赋予的类别的权重ignore_index，int类型数据，用于指定忽略某个类别的索引。默认为 -100，表示不忽略任何类别。reduction：指定损失函数的计算方式。可选项包括：‘none’（不返回每个样本的损失值）、‘mean’（返回每个样本的平均损失值）、‘sum’（返回每个样本的总损失值）。N，代表了N个样本LiL_{i}Li​，为某个样本的对应损失函数的值yiy_{i}yi​。

【代码】【自然语言处理】3.1NLTK工具集。

主要是用于爬虫的解析，主要根据用request，scrapy的第三方库等请求获取到的html的元素逐层解析。

主要讲述的是深度学习的LSTM的原理，参数介绍以及应用场景，可以用于NLP或者是处理时序数据

主要介绍的是自然语言处理基础任务（FMM&BPE原理以及代码），主要有最大正向匹配FMM，BPE子词切分原理以及代码实现

重现N-gram模型，代码，改进和优化。理解N-gram模型的概念和理解。除此之外，还有一部分有关于PPL的理解和公式的定义。

主要讲述的是文本表示中的词嵌入的简单介绍和词袋表示（Bag of words）（BOW）

文本的分布式表示以及改进（SVD）奇异值分解的概念，推导，代码以及优缺点。

特征值和特征向量的概念和求解，主要分为人工计算和python代码实现

文本表示中的one-hot向量的理解和分布式表示的公式，理解和代码。