从零开始nlp-task4及fasttext安装_import fasttext memoryerror: bad allocation-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_47072998/article/details/107622086

本文详细介绍了FastText在Windows环境下安装遇到的问题及解决办法，包括使用pip和conda安装失败后的解决方案。同时，提供了使用FastText进行文本分类的代码示例，包括数据预处理、模型训练和评估。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

fasttext安装

分类模型

用验证集调参

1.pip install fasttext失败
重启后conda install fasttext失败
https://www.lfd.uci.edu/~gohlke/pythonlibs/#fasttext

找到自己python对应的版本，我的是python3.7，所以下载的是
fasttext-0.9.2-cp37-cp37m-win_amd64.whl
首先cd到目录下，之后pip

2.分类模型

import pandas as pd
from sklearn.metrics import f1_score
# 转换为FastText需要的格式
train_df = pd.read_csv('../input/train_set.csv', sep='\t', nrows=15000)
train_df['label_ft'] = '__label__' + train_df['label'].astype(str)
train_df[['text','label_ft']].iloc[:-5000].to_csv('train.csv', index=None, header=None, sep='\t')

import fasttext
model = fasttext.train_supervised('train.csv', lr=1.0, wordNgrams=2,
 verbose=2, minCount=1, epoch=25, loss="hs")
val_pred = [model.predict(x)[0][0].split('__')[-1] for x in train_df.iloc[-5000:]['text']]
print(f1_score(train_df['label'].values[-5000:].astype(str), val_pred, average='macro'))

显示bad allocation,重启后可以运行。运行结果：
Read 9M words
Number of words: 5341
Number of labels: 14
Progress: 99.8% words/sec/thread: 436038 lr: 0.002195 avg.loss: 0.151275 ETA: 0h 0m 0s0.8226546557798213
3.十折交叉验证（未学完）