自然语言技术-文本分类模型

最新推荐文章于 2023-02-20 19:38:41 发布

原创

最新推荐文章于 2023-02-20 19:38:41 发布 · 358 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#自然语言处理 #python

这是我上课学到的，算是完成度比较高，所以想分享出来

这是自然语言技术的文本分类，我用的是斗罗大陆的语料，用了jieba进行分词，使用了贝叶斯模型进行拟合

import jieba
import pandas as pd
import numpy as np

#导入数据
raw = pd.read_table('E:\\斗罗大陆.txt',names=['txt'])
print(len(raw))
raw

#章节判断用变量预处理
def m_head(tmpstr):
    return tmpstr[:1]

def m_mid(tmpstr):
    return tmpstr.find('章 ')

raw['head'] = raw.txt.apply(m_head)
raw['mid'] = raw.txt.apply(m_mid)
raw['len'] = raw.txt.apply(len)
raw.head(50)

#章节判断
chapnum = 0
for i in range(len(raw)):
    if raw['head'][i] == '第' and raw['mid'][i]>0 and raw['len'][i]<30:
        chapnum +=1
    if chapnum >=40 and raw['txt'][i] == '附录一：成吉思汗家族':
        chapnum = 0
    raw.loc[i,'chap']