Task 4 基于深度学习的文本分类1
与传统机器学习不同，深度学习即提供特征提取功能，也可以完成分类的功能。
4.1 学习目标
1.学习FastText的使用和基础原理
2.学会使用验证集进行调参
4.2 现有文本表示方法的缺陷
上一章节介绍了几种文本表示方法：
1.One-hot
2.Bag of Words
3.N-gram
4.TF-IDF
上述方法或多或少都存在一定的问题：转换得到的向量维度很高，需要较长的训练时间；没有考虑单词与单词之间的关系，只是进行了统计。
与上述方法不同，深度学习也可以用于文本表示，还可以将其映射到一个低维空间，比如：FastText，Word2Vec和Bert。本章先介绍FastText。
4.2.1 FastText
fastText的核心思想就是：将整篇文档的词及n-gram向量叠加平均得到文档向量，然后使用文档向量做softmax多分类。这中间涉及到两个技巧：字符级n-gram特征的引入以及分层Softmax分类。
FastText是一个三层的神经网络，包含输入层，隐含层，输出层：
使用keras可以实现FastText网络结构：
FastText在文本分类上相较于TF-IDF的优点：
1.FastText使用单词的Embedding叠加获得的文档向量，将相似的句子分为一类。
2.FastText学习到的Embedding空间维度较低，可以快速进行训练。
关于Embedding的含义：
Embedding在数学上表示一个maping, f: X -> Y， 也就是一个function，其中该函数是injective（就是我们所说的单射函数，每个Y只有唯一的X对应，反之亦然）和structure-preserving (结构保存，比如在X所属的空间上X1 < X2,那么映射后在Y所属空间上同理 Y1 < Y2)。那么对于word embedding，就是将单词word映射到另外一个空间，其中这个映射具有injective和structure-preserving的特点。
通俗的翻译可以认为是单词嵌入，就是把X所属空间的单词映射为到Y空间的多维向量。相似词映射到相似方向。
4.2.2 基于FastText的文本分类
FastText可以快速的在CPU上进行训练，最好的实践方法就是官方开源的 版本.
安装FastText可以使用pip install fasttext直接安装，也可以在 这里.找到适合自己的版本下载后安装。
分类模型：
import pandas as pd
from sklearn.metrics import f1_score
#转换为FastText需要的格式
train_df = pd.read_csv('data/train_set.csv', sep='\t', nrows=15000)
train_df['label_ft'] = '__label__' + train_df['label'].astype(str)
train_df[['text', 'label_ft']].iloc[:-5000].to_csv('train.csv', index=None, header=None, sep='\t')
import fasttext
model = fasttext.train_supervised('train.csv', lr=1, wordNgrams=2, verbose=2, minCount=1, epoch=25, loss="hs")
val_pred = [model.predict(x)[0][0].split('__')[-1] for x in train_df.iloc[-5000:]['text']]
print(f1_score(train_df['label'].values[-5000:].astype(str), val_pred, average='macro'))
结果：0.8235765814370285
这里使用的数据量较小，增加训练集数量后，精度也会相应增加。在5W条训练样本时，验证集得到可以到0.89~0.90左右。
4.2.3 如何使用验证集调参
训练时，模型的参数在一定程度上会影响模型的精度，该如何去选择这些参数呢？方法如下：
1.通过阅读文档，弄清楚参数的大致含义，了解哪些参数会增加模型的复杂度。
2.通过在验证集上进行模型精度验证，判断模型是否存在过拟合或者欠拟合的问题；
可以使用10折交叉验证，每折使用9/10的数据进行训练，剩下1/10作为验证集检验模型的效果。需要注意每折的划分必须保证标签的分与整个数据集的分布一致。
label2id = {}
for i in range(total):
label = str(all_labels[i])
if label not in label2id:
label2id[label] = [i]
else:
label2id[label].append(i)
通过10折划分，一共得到10份分布一致的数据，索引分别为0到9，每次通过将一份数据作为验证集，剩余数据作为训练集，获得所有数据的10种分割。一般来说，可以使用最后一份，即索引为9的一份作为验证集，索引0-8的作为训练集，然后基于验证集的结果调整超参数，使得模型性能更优。
4.3 小结
本章介绍了FastText的原理，并且创建了基础的分类模型。然后介绍了10折交叉验证划分数据集。
4.4 作业
1.阅读FastText的参数，尝试修改参数，得到更好的分数。
参数含义：
train_supervised parameters ：
input # training file path (required)
lr # learning rate [0.1]
dim # size of word vectors [100]
ws # size of the context window [5]
epoch # number of epochs [5]
minCount # minimal number of word occurences [1]
minCountLabel # minimal number of label occurences [1]
minn # min length of char ngram [0]
maxn # max length of char ngram [0]
neg # number of negatives sampled [5]
wordNgrams # max length of word ngram [1]
loss # loss function {ns, hs, softmax, ova} [softmax]
bucket # number of buckets [2000000]
thread # number of threads [number of cpus]
lrUpdateRate # change the rate of updates for the learning rate [100]
t # sampling threshold [0.0001]
label # label prefix [‘label’]
verbose # verbose [2]
2.基于验证集的结果调整超参数，使得模型性能更优。
调参可以使用贝叶斯优化方法：
import pandas as pd
from sklearn.metrics import f1_score
from bayes_opt import BayesianOptimization
import fasttext# 导入fasetext
def rf_cv(lr, wordNgrams,epoch,dim):
model = fasttext.train_supervised('train.csv', lr=lr, wordNgrams=int(wordNgrams),
verbose=2, minCount=1, epoch=int(epoch),dim=int(dim))#训练模型
val_pred = [model.predict(x)[0][0].split('__')[-1] for x in train_df.iloc[-5000:]['text']]# 预测
return f1_score(train_df['label'].values[-5000:].astype(str), val_pred, average='macro')#输出f1值
rf_bo = BayesianOptimization(
rf_cv,
{
'lr':(0.001,2),
'wordNgrams': (2, 6),
'epoch': (8, 30),
'dim':(60,600)
}
)
rf_bo.maximize()
第一个参数是我们的优化目标函数，第二个参数是我们所需要输入的超参数名称，以及其范围。
| iter | target | dim | epoch | lr | wordNg... |
-------------------------------------------------------------------------
| 1 | 0.8389 | 103.0 | 21.61 | 0.4715 | 3.989 |
| 2 | 0.7764 | 123.4 | 19.76 | 0.2017 | 2.315 |
| 3 | 0.8693 | 356.4 | 27.2 | 1.462 | 5.929 |
| 4 | 0.8735 | 209.3 | 20.82 | 1.998 | 3.542 |
| 5 | 0.8723 | 290.8 | 26.28 | 0.457 | 2.828 |
| 6 | 0.8711 | 207.9 | 20.11 | 1.796 | 4.146 |
| 7 | 0.8745 | 239.3 | 23.68 | 1.377 | 3.204 |
| 8 | 0.853 | 323.0 | 12.71 | 0.9987 | 3.346 |
| 9 | 0.09211 | 266.6 | 8.0 | 0.001 | 6.0 |
| 10 | 0.1185 | 310.9 | 30.0 | 0.001 | 6.0 |
| 11 | 0.8675 | 226.1 | 15.05 | 1.635 | 5.776 |
| 12 | 0.8617 | 341.9 | 14.21 | 0.6688 | 2.609 |
| 13 | 0.8136 | 360.6 | 9.077 | 2.0 | 6.0 |
| 14 | 0.06795 | 225.3 | 30.0 | 0.001 | 2.0 |
| 15 | 0.8678 | 237.3 | 13.04 | 2.0 | 5.957 |
| 16 | 0.8487 | 214.9 | 8.833 | 2.0 | 4.95 |
| 17 | 0.8682 | 342.7 | 27.58 | 2.0 | 6.0 |
| 18 | 0.02293 | 371.2 | 23.2 | 0.01911 | 3.282 |
| 19 | 0.87 | 351.2 | 19.17 | 1.633 | 5.009 |
| 20 | 0.4848 | 109.0 | 8.254 | 0.2686 | 3.916 |
| 21 | 0.8097 | 332.8 | 8.0 | 2.0 | 6.0 |
| 22 | 0.8366 | 91.3 | 29.95 | 0.4541 | 4.21 |
| 23 | 0.8707 | 250.7 | 30.0 | 2.0 | 6.0 |
| 24 | 0.8696 | 84.88 | 16.14 | 2.0 | 6.0 |
| 25 | 0.02293 | 74.65 | 26.0 | 0.01381 | 3.487 |
| 26 | 0.8234 | 91.36 | 8.716 | 0.6761 | 2.719 |
| 27 | 0.874 | 279.2 | 29.72 | 0.8131 | 3.492 |
| 28 | 0.8754 | 196.6 | 8.0 | 2.0 | 2.0 |
| 29 | 0.02293 | 188.4 | 19.42 | 0.007377 | 2.679 |
| 30 | 0.8732 | 248.9 | 19.68 | 1.083 | 2.146 |
=========================================================================
最优结果： 0.8754
最优参数参数dim = 196.6，epoch = 8.0，lr = 2.0，wordNgram = 2.0
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
