fastText简单介绍和使用

最新推荐文章于 2025-09-18 15:43:48 发布

原创最新推荐文章于 2025-09-18 15:43:48 发布 · 571 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #python

fastText是一款高效学习词向量及文本分类的工具，能在10分钟内训练10亿词级别的语料库，1分钟内完成30万类别的50万句子分类。输入词序列，输出类别概率。

1. fastText的介绍

文档地址：https://fasttext.cc/docs/en/support.html

fastText is a library for efficient learning of word representations and sentence classification.

fastText是一个单词表示学习和文本分类的库

优点：在标准的多核CPU上，在10分钟之内能够训练10亿词级别语料库的词向量，能够在1分钟之内给30万多类别的50多万句子进行分类。

fastText 模型输入一个词的序列（一段文本或者一句话)，输出这个词序列属于不同类别的概率。

2. 安装和基本使用

2.1 安装步骤：

下载 git clone https://github.com/facebookresearch/fastText.git
cd cd fastText
安装 python setup.py install

2.2 基本使用

把数据准备为需要的格式

进行模型的训练、保存和加载、预测

#1. 训练
model = fastText.train_supervised("./data/text_classify.txt",wordNgrams=1,epoch=20)
#2. 保存
model.save_model("./data/ft_classify.model")
#3. 加载
model = fastText.load_model("./data/ft_classify.model")

textlist = [句子1，句子2]
#4. 预测，传入句子列表
ret = model.predict(textlist)