用fasttext 训练

最新推荐文章于 2022-12-27 16:14:01 发布

原创

最新推荐文章于 2022-12-27 16:14:01 发布 · 1.7k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#fasttext #pytorch

用fasttext 训练

下载fasttext

官网： https://github.com/facebookresearch/fastText

编译和安装

wget https://github.com/facebookresearch/fastText/archiv/v0.9.1.zip
unzip v0.9.1.zip
cd fastText-0.9.1
 make
 pip install .

使用fasttext

格式：

__label__Sociology , 年轻男子疑因感情受挫旅馆内跳楼身亡新快报
__label__Technology , 18 倍光变 27mm 广角尼康 P80 套装 2800 元作

喂给 fasttext 的文档必须是这样的格式：前缀+标签 + 逗号 + 分词

__label__  这个是前缀
Sociology： 这个是标签
年轻 男子 疑因 感情   ：这是中文分词 中间用空格隔开

变换数据

1，要将数据集分成训练集和测试集第一步将数据转换成 csv

方便后面的切割操作

2，将CSV数据切割成 train.txt 和 test.txt

import fasttext

import re
from types import MethodType, FunctionType

import jieba

from collections import defaultdict

import  pandas  as pd

import  random
import  os

class TransformData(object):

    #将文档转换成 CSV
    def to_csv(self, inPath, outPath, index=False):
        dd = {
   
   }
        handler = open(inPath)


        for line in handler:
            label, content = line.split(',', 1)
            key =label.strip('__label__').strip()
            if not  dd.get(key,False):
                dd[key] =[]
            dd[key].append(content.strip())
        handler.close()

        df = pd.DataFrame()
        for key in dd.keys():
            col = pd.Series(dd[key], name=key)
            df = pd.concat([df, col], axis=1)
        return df.to_csv(outPath, index=index, encoding='utf-8')
    #切割数据集 成 train.txt  test.txt
    def  SplitTrainTest(s