零基础入门NLP - 新闻文本分类(四、基于深度学习的文本分类fastText)

最新推荐文章于 2022-04-22 12:56:26 发布

FunYoung0407

最新推荐文章于 2022-04-22 12:56:26 发布

阅读量359

点赞数

分类专栏： NLP 文章标签： python 自然语言处理

本文链接：https://blog.youkuaiyun.com/a6368533/article/details/107620624

版权

本文介绍了FastText的原理和优势，它作为深度学习的文本表示方法，优于TF-IDF。通过使用FastText进行文本分类，展示了在增加训练数据后模型精度的提升。同时，讨论了如何通过验证集调参，使用10折交叉验证来优化模型性能，以及FastText与word2vec的关系。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、上节回顾：

1.几种文本表示方式

One-hot
Bag of Words
N-gram
TF-IDF

缺点：转换得到的向量维度很高，需要较长的训练实践；没有考虑单词与单词之间的关系，只是进行了统计。

2.几种机器学习分类方法

LR
SVM
XGB
LGB
聚类（未练习）

二、fastText

与传统机器学习不同，深度学习既提供特征提取功能，也可以完成分类的功能。现在开始我们将学习如何使用深度学习来完成文本表示。

深度学习也可以用于文本表示，还可以将其映射到一个低纬空间。其中比较典型的例子有：FastText、Word2Vec和Bert。在本章我们将介绍FastText，将在后面的内容介绍Word2Vec和Bert。

FastText是一种典型的深度学习词向量的表示方法，它非常简单通过Embedding层将单词映射到稠密空间，然后将句子中所有的单词在Embedding空间中进行平均，进而完成分类操作。

所以FastText是一个三层的神经网络，输入层、隐含层和输出层。

FastText在文本分类任务上，是优于TF-IDF的：

FastText用单词的Embedding叠加获得的文档向量，将相似的句子分为一类
FastText学习到的Embedding空间维度比较低，可以快速进行训练

如果想深度学习，可以参考论文：
Bag of Tricks for Efficient Text Classification

三、基于FastText的文本分类

import pandas as pd
from sklearn.metrics import f1_score

# 转换为FastText需要的格式
train_df = pd.read_csv('../data/train_set.csv'

最低0.47元/天解锁文章