Python【极简】文本分类+文本编码

最新推荐文章于 2024-12-26 11:10:09 发布

原创

最新推荐文章于 2024-12-26 11:10:09 发布 · 1.3k 阅读

4 ·

CC 4.0 BY-SA版权

文章目录

文本分类【极简】模板
- 多元文本分类
文本编码
附录

文本分类【极简】模板

from jieba import cut
from sklearn.linear_model import LogisticRegression
from sklearn.feature_extraction.text import TfidfVectorizer

"""语料"""
texts = [
    '三个只有一个是新鲜的，其它两个都坏了，买得最差的一次水果',
    '京东，才发现你是个骗子，服务更是一样的烂',
    '火龙果很小，而且还有一个烂了，发霉了',
    '物流慢，收到时有两个底部已开始腐烂',
    '屏幕清晰度不高，而且运行速度巨慢',
    '贝质量很好，款式时尚，大小合适，做工精致，穿着舒服，服务很好',
    '质量很好的，款式也不错，看起来高档大气，卖家服务还好，不错',
    '裤子收到了，质量不错，价格便宜，穿着舒服，下次我还会来买的',
    '宝贝收到了，试了一下，穿上挺舒服的，是正品，综合给好评',
    '裤子挺好看，质量也不错，老公搭配衣服挺好看也很喜欢穿',
]
y = [0, 0, 0, 0, 0, 1, 1, 1, 1, 1]

"""向量转换器"""
vectorizer = TfidfVectorizer(tokenizer=cut, stop_words=set('的在了是和也有为就都说等与才这，'))
X = vectorizer.fit_transform(texts)

"""分类模型"""
clf = LogisticRegression()
clf.fit(X, y)
print(clf.score(X, y))

多元文本分类

场景：文本包含标题和正文，将两者合并输入则为一元，分开输入则为多元

from jieba import cut
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from warnings import filterwarnings
filterwarnings('ignore')


def get_data():
    y, x, xh, xb = [], [], [], []
    with open('policy.txt', encoding='utf-8') as f:
        for rows in f.read().strip().split('\n\n'):
            label, head, body = rows.split('\n', 2)
            y.append(label)
            x.append(head + '\n' + body)
            xh.append(head)
            xb.append(body)
    return y, x, xh