利用TF-IDF算法和朴素贝叶斯算法进行文本分类，用于商品搜索

老街下着雨

于 2020-06-04 23:25:19 发布

阅读量816

点赞数

文章标签： python

本文链接：https://blog.youkuaiyun.com/l15767016983/article/details/106560540

版权

本文介绍了如何利用TF-IDF算法和朴素贝叶斯进行文本分类，应用于商品搜索。首先对文本进行预处理，包括删除格式字符和使用jieba进行分词。接着建立向量空间模型，将每个商品标题作为分类，通过TF-IDF模型训练，然后应用贝叶斯算法进行分类。最后，给出了代码实现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、文本预处理

1.格式问题，比如删空格，删换行符等。
2.用 jieba 模块进行分词

二、建立向量空间模型

1.加载商品标题，把每一个标题都作为一个分类。

2.建立tf-idf模型，输入到模型进行训练，

贝叶斯算法

3.代码实现

    def load_bot(self):  # 加载商品标题
        
        sql = "select question,answer from robot"
        self.result = MySQL.mysql_test(sql)
        # print(len(self.result))
        if len(self.result) > 0:
            try:
                x_cut_data = []
                self.y_cut_data = []
                i = 0
                while i < len(self.result):
                    # print(self.result[i])
                    content = jieba.cut(self.result[i][0])
                    x_cut_data.append(" ".join(content))
                    self.y_cut_data.append(i)