机器学习面试笔记整理1-朴素贝叶斯

本文详细介绍了朴素贝叶斯算法的思想、优缺点及其在文本分类等领域的应用,并针对面试常问的问题进行了总结。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

机器学习面试笔记整理1-朴素贝叶斯

算法思想

利用训练数据集求得联合概率分布p(x,y),然后计算后验概率分布p(y|x),最后进行分类argmaxp(y|x)。

优缺点

优点:
1.可增量,by计数修正
2.简单且对缺失数据不敏感
3.简单高效,训练过程超快
4.多分类同样有效,且复杂度不会大幅度上升
5.对于类别类的输入特征变量,效果非常好
6.调参少
7.泛化能力特别好!!
缺点:
1.当特征在训练集没见过时,需要做平滑
2.条件独立假设在实际中不是那么普遍
3.朴素贝叶斯算出的概率结果,比较大小还凑合,实际物理含义…恩,别太当真,因此,不能像LR做排序

应用

文本分类(词袋模型)
邮件过滤
医疗领域
推荐系统(朴素贝叶斯+协同过滤)

面试问题收集

1.NB应用于文本分类存在哪三种模型?
多项式模型:计算句子概率,统计词语时,重复的词语视为其出现多次
伯努利(0-1)模型:计算句子概率、统计词语时,将重复出现的词语视为一次
混合模型:计算句子概率时,不考虑重复词语出现的次数,但在统计计算词语的概率时考虑其出现的次数
2.什么是平滑?
如果某个特征 x i x_i xi没有出现过,贝叶斯公式中 p ( x i ∣ y = c k ) = 0 p(x_i|y=c_k)=0 p(xiy=ck)=0会导致整体概率为0,因此,借助平滑技术,在增加未出现词语的同时,减少已出现词语的概率,保证所有词语概率相加为1,常见有以下三种方式:
(1)拉普拉斯平滑:
伯努利模型—分子加1,分母加2
多项式模型—分母加1,分子加所有特征个数(保证所有词语概率相加为1)
(2)线性插值
(3)回退
3.NB如何处理连续数值? 离散化
4.NB如何处理缺失值? 直接忽略

### 朴素贝叶斯分类器在机器学习中的应用及其实现 #### 原理概述 朴素贝叶斯分类器基于贝叶斯定理构建,假设特征之间相互独立。这一假设使得计算条件概率变得更为简便,从而提高了模型训练效率[^1]。 #### 实现过程 以下是使用 `scikit-learn` 库实现朴素贝叶斯分类器的一个具体例子: ```python from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.naive_bayes import GaussianNB from sklearn.metrics import accuracy_score # 加载数据集 data = load_iris() X, y = data.data, data.target # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42) # 初始化高斯朴素贝叶斯模型 model = GaussianNB() # 训练模型 model.fit(X_train, y_train) # 预测测试集标签 y_pred = model.predict(X_test) # 输出准确率 accuracy = accuracy_score(y_test, y_pred) print(f"模型准确率为: {accuracy:.2f}") ``` 上述代码展示了如何加载鸢尾花数据集、划分训练集与测试集、初始化高斯朴素贝叶斯模型以及评估其性能。 #### 特点分析 相比于其他复杂的分类算法,朴素贝叶斯具有以下几个显著特点: - **高效性**:由于假设特征间独立,减少了参数估计的数量,适合处理大规模数据集。 - **易用性**:无需调整过多超参数即可获得较好的效果,在某些场景下甚至优于更复杂的模型[^2]。 #### 应用领域 除了常见的文本分类任务外,朴素贝叶斯还被广泛应用在医疗诊断、信用评分等多个领域中。例如通过患者的症状描述预测可能患有的疾病类型;或者利用客户的财务状况判断是否存在违约风险等问题都可以采用该方法解决[^3]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值