分类算法-朴素贝叶斯NB

本文介绍了机器学习中常见的分类任务及其应用场景,包括人群、新闻、网页等的分类,并详细探讨了二值分类与多值分类的区别。通过对比基于规则的方法和概率分类器,如朴素贝叶斯分类器,阐述了不同技术的特点及其实现过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

优快云截取后半部内容,所以迁移到简书,点开即可

分类技术概述

• 最常见的机器学习任务
• 定义:给定一个对象X,将其划分到预定义好的某一个类别Yi中
    – 输入:X
    – 输出:Y(取值于有限集合{y1,y2,……,yn})
• 应用:

    – 人群,新闻分类,query分类,商品分类,网页分类,垃圾邮件过滤,网页排序

不同类型的分类


• 类别数量
    – 二值分类
        • Y的取值只有两种,如:email是否垃圾邮件
    – 多值分类
        • Y的取值大于两个,如:网页分类{政治,经济,体育,……}
• 类别关系
    – 水平关系
        • 类别之间无包含关系
    – 层级关系

        • 类别形成等级体系

新闻分类

• 任务
     – 为任一新闻,例如{股市,反弹,有力,基金,建仓,加速……}--找出刻画特征能力特别强的词语
     – 指定其类别=>{军事,科技,财经,生活……}
• 基于规则的方式
     – 列举每个类别的常用词
         • 军事:导弹,军舰,军费……
         • 科技:云计算,siri,移动互联网……
     – 问题、局限性
         • 如何保证列举全?
         • 冲突如何处理?苹果:科技?生活?
         • 不同的词有不同的重要度,如何决定?

         • 如果类别很多怎么办?

分类任务解决流程

• 新闻分类
• 特征表示:X={昨日,是,国内,投资,市场……}
• 特征选择:X={国内,投资,市场……}--筛选比较好的特征
• 数据建模:朴素贝叶斯分类器
• 训练数据准备
• 模型训练
• 预测(分类)

• 评测

分类技术


• 概率分类器
    – NB
    – 计算待分类对象属于每个类别的概率,选择概率最大的类别作为最终输出
• 空间分割
    – SVM
• 其他

    – KNN(没有训练,上来就预测,计算量很大,好性能,但是可能是最好的分类算法)

朴素贝叶斯分类

• 朴素贝叶斯(NaiveBeyesian Classification,NB)分类器
    – 概率模型

    – 基于贝叶斯原理


    • X:代表一个item,比如文章
    • yi:类别

    • P(X):待分类对象自身的概率,可忽略
    • P(yi):每个类别的先验概率,如P(军事)
    • P(X|yi):每个类别产生该对象的概率

    • P(xi|yi):每个类别产生该特征的概率,如P(苹果|科技)--众多特征组成一个item,然后对所有的特征token做一个连乘,所以公式成立建立在所有的特征相互独立同分布的假设上,所谓的朴素贝叶斯的朴素就是忽略了一些元素。

模型训练、参数估计

• 策略:最大似然估计(maximum likehood estimation,MLE)
    – P(Yi) 每个类别的先验概率
        • Count(yi):类别为yi的对象在训练数据中出现的次数
    – 例如:
        • 总共训练数据1000篇,其中军事类300篇,科技类240篇,生活类140篇,……

        • P(军事)=0.3, P(科技)=0.24, P(生活)=0.14,……

• 最大似然估计(maximum likehood estimation,MLE)


    – P(xj|yi)
        • Count(xj, yi):特征xj和类别yi在训练数据中同时出现的次数
    – 例如:
        • 总共训练数据1000篇,其中军事类300篇,科技类240篇,生活类140篇,……
        • 军事类新闻中,谷歌出现15篇,投资出现9篇,上涨出现36篇
        • P(谷歌|军事)=0.05, P(投资|军事)=0.03, P(上涨|军事)=0.12,……
### 朴素贝叶斯分类器简介 朴素贝叶斯分类器是一种基于贝叶斯定理的监督学习算法,其核心假设是特征之间相互独立[^2]。尽管这一假设在现实中往往不成立,但该模型仍然表现出良好的性能,在许多实际应用中取得了不错的效果[^3]。 以下是关于如何设计和实现一个简单的朴素贝叶斯分类器实验的具体说明: --- ### 数据集准备 为了验证朴素贝叶斯分类器的有效性,可以选择经典的文本分类数据集(如垃圾邮件检测)或者数值型数据集(如鸢尾花数据集 Iris Dataset)。这里以鸢尾花数据集为例进行演示。 #### 加载数据 可以使用 `scikit-learn` 提供的数据加载工具快速获取鸢尾花数据集: ```python from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split # 加载数据集 data = load_iris() X, y = data.data, data.target # 将数据划分为训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42) ``` --- ### 构建朴素贝叶斯分类器 利用 Python 中的 `sklearn.naive_bayes` 模块可以直接构建并训练朴素贝叶斯分类器。常见的变体包括高斯分布下的朴素贝叶斯(GaussianNB),适用于连续型变量。 #### 训练模型 以下是一个完整的代码示例: ```python from sklearn.naive_bayes import GaussianNB from sklearn.metrics import accuracy_score, classification_report # 初始化朴素贝叶斯分类器 model = GaussianNB() # 使用训练数据拟合模型 model.fit(X_train, y_train) # 对测试集进行预测 y_pred = model.predict(X_test) # 输出评估指标 print(f"Accuracy: {accuracy_score(y_test, y_pred):.2f}") print("\nClassification Report:") print(classification_report(y_test, y_pred)) ``` 上述代码实现了以下几个功能: 1. **初始化模型**:创建了一个基于高斯分布的朴素贝叶斯分类器实例。 2. **训练阶段**:通过调用 `.fit()` 方法完成模型参数的学习。 3. **预测与评估**:对测试集执行预测操作,并计算准确率以及详细的分类报告。 --- ### 自定义实现朴素贝叶斯分类器 如果希望深入了解内部机制,可以通过手动编写代码来实现朴素贝叶斯的核心逻辑。以下是针对二元分类问题的一个简化版本: #### 手动实现 ```python import numpy as np class NaiveBayesClassifier: def __init__(self): self.class_prior = {} self.feature_likelihoods = {} def fit(self, X, y): n_samples, n_features = X.shape classes = np.unique(y) # 计算先验概率 P(C_k) for c in classes: X_c = X[y == c] self.class_prior[c] = len(X_c) / n_samples # 计算条件概率 P(x_i|C_k),假定各特征服从正态分布 mean = np.mean(X_c, axis=0) var = np.var(X_c, axis=0) self.feature_likelihoods[c] = (mean, var) def predict(self, X): predictions = [] for x in X: posteriors = [] # 遍历每个类别的后验概率 P(C_k|x) for c, prior in self.class_prior.items(): likelihood = np.log(prior) # 基于正态分布的概率密度函数计算似然值 mean, var = self.feature_likelihoods[c] numerator = np.exp(-((x - mean)**2) / (2 * var)) denominator = np.sqrt(2 * np.pi * var) likelihood += np.sum(np.log(numerator / denominator)) posteriors.append(likelihood) # 取最大后验对应的类别作为预测结果 pred_class = np.argmax(posteriors) predictions.append(pred_class) return np.array(predictions) # 测试自定义实现 nb_custom = NaiveBayesClassifier() nb_custom.fit(X_train, y_train) y_pred_custom = nb_custom.predict(X_test) print(f"Custom Accuracy: {accuracy_score(y_test, y_pred_custom):.2f}") ``` 此部分展示了如何从零开始构建朴素贝叶斯分类器,涉及的关键概念包括先验概率 \(P(C_k)\) 和条件概率 \(P(x_i | C_k)\)[^2]。 --- ### 总结 以上提供了两种方式来理解和实践朴素贝叶斯分类器:一种是借助成熟的库(如 scikit-learn)快速搭建模型;另一种则是深入底层原理,自行编码实现基本框架。无论采用哪种方法,都可以加深对该算法的认识及其适用场景的理解。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值