Logistic Regression and Naive Bayes新的理解点

理解Logistic Regression与Naive Bayes：MAP与MLE的对比
最新推荐文章于 2019-12-10 00:48:22 发布
原创 最新推荐文章于 2019-12-10 00:48:22 发布 · 1.9k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

这篇博客探讨了Mitchell教授公开课中关于Logistic Regression和Naive Bayes的新理解，重点在于MAP（最大后验概率）与MLE（最大似然估计）的区别。MAP在估计参数时考虑了先验概率，而MLE仅基于训练数据。内容还提及了正则化的必要性及其来源，并比较了生成模型与判别模型的差异。

来自http://www.cs.cmu.edu/~tom/10701_sp11/

Mitchell老师的公开课ppt


MAP相对于MLE而言，给出了待估计参数的先验概率；MLE仅仅根据训练集训练参数，而不考虑参数的先验概率：

最低0.47元/天 解锁文章
机器学习实战--naive bayes和logistic Regression
sunnyxiaohu的博客
03-11 2602
前面我们学到的knn和trees都是能确切的确定例子属于哪一类，这一节我们将介绍一种用概率来进行分类的方式。一、朴素贝叶斯（naive bayes）用一句话介绍就是，待测例子属于哪一类的可能性更大，就将待测例子归为哪一类。 先简单的介绍一下概率的基本知识： 假设一共有两类c=0,1；如果p(c=0)>p(c=1)，那我们就将该例归为c=0类。反之，归为c=1类。对于多类问题采用相似的解决方法。
Naive Bayes VS Logistic Regression
muye5的专栏
02-18 5075
NB和LR的区别 http://www.quora.com/What-is-the-difference-between-logistic-regression-and-Naive-Bayes www.cs.cmu.edu/~tom/mlbook/NBayesLogReg.pdf‎ 作为生成模型NB从样本数据中模拟P(X|Y)和P(Y)，而作为判别模型的LR，直接对数据lable：Y
Generative and Discriminative Classifiers: Naive Bayes and Logistic Regression
09-29
机器学习第二版中Tom准备增加的内同，关于生成模型、判别模型以及朴素贝叶斯和逻辑回归的介绍，在作者主页下载的
NAIVE BAYES AND LOGISTIC REGRESSION
12-18
本文档对朴素贝叶斯和Logistic回归进行了详细的比较，对数学原理和应用都做了说明，适合入门学习。
Machine Learning--Classifying with probability theory: Naive Bayes
beijingbuaaer的博客
07-31 304
Machine Learning--Classifying with probability theory: Naive Bayes
美国人口普查数据预测收入sklearn算法汇总3之ROC: KNN,LogisticRegression,RandomForest,NaiveBayes,StochasticGradientDece
sanjianjixiang的博客
12-10 4613
接<美国人口普查数据预测收入sklearn算法汇总1: 了解数据以及数据预处理> <美国人口普查数据预测收入sklearn算法汇总2: 特征编码, 特征选择, 降维, 递归特征消除> 九. 机器学习算法 KNN Logistic Regression Random Forest Naive Bayes Stochastic Gradient Decent Linear S...
Naive Bayes and Logistic Regresion
01-16
标题中的"Naive Bayes and Logistic Regression"涉及的是两种常用的数据分类算法，它们在机器学习领域扮演着重要的角色。Naive Bayes是基于贝叶斯定理的一种简单但高效的分类方法，而Logistic Regression则是一种...
朴素贝叶斯 VS 逻辑回归 区别
热门推荐
cjneo的专栏
04-21 1万+
总结起来，有以下几点不同：(1)     Naive Bayes是一个生成模型，在计算P(y|x)之前，先要从训练数据中计算P(x|y)和P(y)的概率，从而利用贝叶斯公式计算P(y|x)。         Logistic Regression是一个判别模型，它通过在训练数据集上最大化判别函数P(y|x)学习得到，不需要知道P(x|y)和P(y)。(2)    Naive Bayes是建立在条件...
机器学习系列（2）：logistic回归，贝叶斯（bayes）方法
hanzihan123的专栏
03-19 5952
前言：这章主要介绍logistic回归和bayes法。两者都属分类，前者引入了logistic函数，后者引入了贝叶斯定理，都是比较基础的数学知识。             但是logistic无需先验的训练样本，后者需要。              贝叶斯法很强大，很多邮件、网页筛选都有用到，这里只介绍朴素bayes法。理解其关键在于应用中条件概率的提取。              引用《机
CMU大学朴素贝叶斯和逻辑回归
04-05
CMU大学朴素贝叶斯和逻辑回归
朴素贝叶斯法（naive bayes）逻辑回归（logistic regression）线性回归
qq_29258361的博客
03-15 3019
朴素贝叶斯法实际上学习到生成数据的机制，所以属于生成模型。条件独立假设等于是说用于分类的特征在类确定的条件下都是条件独立的，但是有的时候会失去一些分类准确性。对于给定的输入x，通过学习到的模型计算后验概率分布，将后验概率最大的类作为x的类输出主要是使用贝叶斯公式推导的过程。在训练过程中可以得到先验概率P(X=x|Y=Ck),和P(Y= Ck) 逻辑回归：基于sigmoid函数，比较概率，x分到概率...
【机器学习】贝叶斯整理
qq_32742009的博客
08-25 4014
简述朴素贝叶斯算法原理和工作流程 事件A和B同时发生的概率为在A发生的情况下发生B或者在B发生的情况下发生A。 所以有： 对于给出的待分类项，求解在此项出现的条件下各个目标类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。 工作原理： 假设现在有样本这个待分类项（并认为x中的特征独立）。 再假设现在有分类目标 那么就是最终的分类类别。 而 因为x对于每个分类目标来说...
逻辑回归(对数几率回归)和朴素贝叶斯分类器的对比
AcceptedLin的博客
07-15 3039
一 综述　　由于逻辑回归和朴素贝叶斯分类器都采用了极大似然法进行参数估计，所以它们会被经常用来对比。(另一对经常做对比的是逻辑回归和SVM，因为它们都是通过建立一个超平面来实现分类的)本文主要介绍这两种分类器的相同点和不同点。二.两者的不同点1.两者比较明显的不同之处在于，逻辑回归属于判别式模型，而朴素贝叶斯属于生成式模型。具体来说，两者的目标虽然都是最大化后验概率，但是逻辑回归是直接对后验概率P...
逻辑回归（Logistic Regression）
qq_45059014的博客
05-17 160
逻辑回归（Logistic Regression）
线性分类模型(四)——贝叶斯观点下的Logistic回归
KEEP CODING
10-25 4168
本文首发于我的个人博客Suixin’s Blog 原文: https://suixinblog.cn/2018/10/linear-classification4.html　　作者: Suixin 拉普拉斯近似 目标：因为待近似的分布p(z)p(\pmb{z})p(zzz)不是高斯分布，故寻找一个高斯近似q(z)q(\pmb{z})q(zzz)，它的中心位于p(z)p(\pmb{z})p(zz...
逻辑回归 和 朴素贝叶斯 两者间的区别
u011089523的博客
07-20 2985
在有监督学习算法用做分类问题时，有两种算法在实际中应用广泛，它们分别是Logistic regression和Naive bayes。今天我们讨论一下这两类算法在分类问题上面的异同点，以及它们的优缺点。 1.两类算法介绍   Logistic Regression Naive Bayes Naive Bayes模型是说我有一个很强的假设，这个假设是
看过的较好的资源和待看的资源
mmc2015的专栏
06-04 2032
网上的资源很多，本人只推荐看过的自认为较好的推荐给大家： 机器学习基础： 推荐： Tom Mitchell： http://book.douban.com/subject/1102235/  中英文对照，了解该方向的专业名词，了解大概算法、思想。 http://www.cs.cmu.edu/~tom/10701_sp11/ CMU公开课，深入该领域必看。 Andrew
《Machine Learning（Tom M. Mitchell）》读书笔记——7、第六章
mmc2015的专栏
11-24 3425
1. Introduction (about machine learning) 2. Concept Learning and the General-to-Specific Ordering 3. Decision Tree Learning 4. Artificial Neural Networks 5. Evaluating Hypotheses 6. Bayes
《Machine Learning（Tom M. Mitchell）》读书笔记——5、第四章
mmc2015的专栏
11-16 2599
1. Introduction (about machine learning) 2. Concept Learning and the General-to-Specific Ordering 3. Decision Tree Learning 4. Artificial Neural Networks 5. Evaluating Hypotheses 6. Bayes
在皮马印第安人糖尿病数据集上比较logistic regression和naive bayesrian分类器的性能。diabetes = pd.read_csv('./work/diabetes.csv')diabetes补全代码
最新发布
10-15
在Python中，我们可以使用`pandas`库加载数据集，然后利用`sklearn`库中的`LogisticRegression`和` GaussianNB`（朴素贝叶斯分类器）来进行模型训练和性能评估。下面是一个简单的步骤示例： ```python import pandas as pd from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression from sklearn.naive_bayes import GaussianNB from sklearn.metrics import accuracy_score, classification_report # 加载数据 diabetes = pd.read_csv('./work/diabetes.csv') # 首先，假设'diabetes'数据集中有一个特征用于预测（例如'Outcome'），其他列为特征 X = diabetes.drop('Outcome', axis=1) # 特征 y = diabetes['Outcome'] # 目标变量 # 数据划分（80%训练，20%测试） X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 初始化Logistic Regression 和 Naive Bayes 分类器 lr_classifier = LogisticRegression() nb_classifier = GaussianNB() # 训练模型 lr_classifier.fit(X_train, y_train) nb_classifier.fit(X_train, y_train) # 预测 lr_predictions = lr_classifier.predict(X_test) nb_predictions = nb_classifier.predict(X_test) # 评估性能 lr_accuracy = accuracy_score(y_test, lr_predictions) nb_accuracy = accuracy_score(y_test, nb_predictions) print(f"Logistic Regression Accuracy: {lr_accuracy}") print("Naive Bayes Accuracy: ", nb_accuracy) # 生成分类报告，展示每个类别的精度、召回率等指标 lr_classification_report = classification_report(y_test, lr_predictions) nb_classification_report = classification_report(y_test, nb_predictions) print("\nLogistic Regression Classification Report:\n", lr_classification_report) print("\nNaive Bayes Classification Report:\n", nb_classification_report)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值