计算机毕业设计Python深度学习垃圾邮件分类检测系统朴素贝叶斯算法机器学习人工智能数据可视化大数据毕业设计 Python爬虫知识图谱文本分类

最新推荐文章于 2024-11-24 00:15:36 发布

原创最新推荐文章于 2024-11-24 00:15:36 发布 · 800 阅读

16 ·

CC 4.0 BY-SA版权

文章标签：

#算法 #机器学习 #人工智能 #深度学习 #大数据 #python #nlp

大数据毕业设计专栏收录该内容

6196 篇文章

订阅专栏

一、项目简介

随着信息时代的快速发展，电子邮件作为人们日常沟通的重要方式也变得日益普及。然而，随之而来的垃圾邮件问题不可避免地困扰着用户，对邮件通信质量造成负面影响。为了解决这一问题，我们开发了基于朴素贝叶斯算法和TF-IDF特征提取的邮件分类系统。

技术方面，我们借助Python编程语言和Sklearn、Flask、Echarts等库与框架，构建了这个功能强大的系统。朴素贝叶斯算法被选作核心分类算法，通过Sklearn库实现模型训练和分类，以提高系统的准确性。TF-IDF算法用于邮件特征提取，进一步优化了分类性能。

系统功能包括邮件检测与数据管理两大模块。邮件检测模块通过朴素贝叶斯算法和TF-IDF特征提取，对邮件进行准确分类，解决了垃圾邮件的问题。数据管理模块涵盖了数据存储、分析和可视化，通过Echarts库将检测日志内容以词云、分类饼状图和流量折线图的形式进行可视化展示，使用户能够直观了解邮件流量和分类情况。

这个系统的意义在于为用户提供了一个高效、智能的垃圾邮件分类解决方案。通过朴素贝叶斯算法，我们可以在海量的邮件中迅速准确地筛选出垃圾邮件，提升了邮件通信质量，释放了邮箱存储空间。同时，数据分析和可视化功能让用户能够更好地了解邮件流量和分类情况，为邮件管理提供了有力的支持。这样的系统符合现代社会信息化发展的趋势，对个人、企业和社会都具有积极的意义。

二、开发环境

开发环境	版本/工具
PYTHON	3.6.8
开发工具	PyCharm
操作系统	Windows 10
内存要求	8GB 以上
浏览器	Firefox (推荐)、Google Chrome (推荐)、Edge
数据库	MySQL 8.0 (推荐)
数据库工具	Navicat Premium 15 (推荐)
项目框架	FLASK、Skite-learn

三、项目技术

Python：作为开发语言，用于编写后端逻辑和数据处理。

Flask： Python的Web框架，用于搭建后端数据接口和处理HTTP请求。

PyMySQL：用于Python与MySQL数据库的交互，实现数据的存储和读取。

Echarts： JavaScript的数据可视化库，将数据转化为图表形式展示给用户。

LAYUI：轻量级前端UI框架，用于构建用户友好的交互界面。

JavaScript：用于实现前端交互和处理用户输入。

HTML和CSS：用于构建前端界面和样式设计。

scikit-learn、pandas和numpy： Python的数据处理和机器学习库，用于数据预测和分析。

AJAX：用于实现前后端数据交互，异步请求后端数据接口。

MySQL：数据库管理系统，用于持久化数据。

核心算法代码分享如下：

# 绘制混淆矩阵
def plot_confusion_matrix(cm, classes, title='Confusion matrix', cmap=plt.cm.Blues):
    plt.imshow(cm, interpolation='nearest', cmap=cmap)
    plt.title(title)
    plt.colorbar()
    tick_marks = np.arange(len(classes))
    plt.xticks(tick_marks, classes, rotation=0)
    plt.yticks(tick_marks, classes)

    thresh = cm.max() / 2.
    for i, j in itertools.product(range(cm.shape[0]), range(cm.shape[1])):
        plt.text(j, i, cm[i, j],
                 horizontalalignment="center",
                 color="white" if cm[i, j] > thresh else "black")
    plt.tight_layout()
    plt.ylabel('True label')
    plt.xlabel('Predicted label')

def train():
    content_list, label_list = get_train_data()  # 获取训练数据
    stopword_list = get_stop_word()  # 获取停用词
    cutWords_list = split_words(content_list, stopword_list)  # 分词+停用词处理
    counts = calc_tf(cutWords_list)  # 统计词频
    tfidf_matrix = calc_idf(counts)  # 计算概率

    train_X, test_X, train_y, test_y = train_test_split(tfidf_matrix, label_list, test_size=0.2,
                                                        random_state=0)  # 分割数据集
    print("训练集：", train_X[0].shape)
    mnb = MultinomialNB()  # 创建模型
    startTime = time.time()
    mnb.fit(train_X, train_y)  # 训练过程
    print('贝叶斯分类器训练用时%.2f秒' % (time.time() - startTime))

    sc1 = mnb.score(test_X, test_y)  # 在测试集上计算得分
    print('准确率为:', sc1)

    y_pred1 = mnb.predict(test_X)
    joblib.dump(mnb, "./mnb.joblib")
    print('召回率为:', recall_score(test_y, y_pred1))
    plot_confusion_matrix(confusion_matrix(test_y, y_pred1), [0, 1])
    print(test_X[0])
    print(y_pred1[0])
    plt.show()
创建数据库连接核心代码
def connect(self):
    self.conn = pymysql.connect(
      host=DB_CONFIG["host"],
      port=DB_CONFIG["port"],
      user=DB_CONFIG["user"],
      passwd=DB_CONFIG["passwd"],
      db=DB_CONFIG["db"],
      charset=DB_CONFIG["charset"],
      cursorclass=pymysql.cursors.DictCursor)
    self.cursor = self.conn.cursor()