1.导入需要的各种模块
from sklearn.linear_model import LogisticRegression
from tqdm import tqdm
import gensim
from sklearn.preprocessing import MultiLabelBinarizer
from sklearn.multiclass import OneVsRestClassifier
from sklearn.metrics import f1_score,accuracy_score
2.导入数据文件
我有四个数据文件,train.csv和test.csv为英语段落(已经去掉了各种特殊符号,只剩字符串),label_train.csv和label_test.csv为标签文件(85%为单标签,15%为多标签,均为数字,每一行代表一个段落的标签)。
trian.csv,test.csv数据格式如下,取一行(每一行代表一个段落):
I am a boy She is a cute girl
label_train.csv,label_test.csv数据格式如下,取一行(每一行代表一个标签):
2 3 5
train_csv=open("./Sample_data/train.csv","r")
l_train_csv=open("./Sample_data/label_train.csv","r")
test_csv=open("./Sample_data/test.csv","r")
l_test_csv=open("./Sample_data/label_test.csv","r")
tr=train_csv.readlines()
l_tr=l_train_csv.readlines()
te=test_csv.readlines()
l_te=l_test_csv.readlines()
train_csv.close()
l_train_csv.close()
test_csv.close()
l_test_csv.close()
//doc2vec.TaggedDocument处理后的训练集集合
train=[]
//训练集和测试集的数据划分为字符格式
train2=[]</