[HITML]哈工大2020秋机器学习Lab2实验报告_哈尔滨工业大学课程报告-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_44940258/article/details/109207799

本文是关于哈工大2020年秋季学期机器学习课程Lab2的实验报告，主要探讨逻辑回归模型。通过对比有无惩罚项以及是否满足朴素贝叶斯假设，分析了模型在高斯分布生成数据和UCI数据集上的性能。实验结果显示，逻辑回归在满足朴素贝叶斯假设时分类效果较好，正则化有助于防止过拟合。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Gtihub仓库

2020年春季学期计算学部《机器学习》课程
Lab2 实验报告

姓名
学号
班号
电子邮件
手机号码

1 实验目的

理解逻辑回归模型，掌握逻辑回归模型的参数估计算法。

2 实验要求及实验环境

2.1 实验要求

实现两种损失函数的参数估计（1.无惩罚项；2.加入对参数的惩罚），可以采用梯度下降、共轭梯度或者牛顿法等。

验证：

可以手工生成两个分别类别数据（可以用高斯分布），验证你的算法。考察类条件分布不满足朴素贝叶斯假设，会得到什么样的结果。
逻辑回归有广泛的用处，例如广告预测。可以到UCI网站上，找一实际数据加以测试。

2.2 实验环境

Windows 10, Python 3.8.5, Jupyter notebook

3 实验原理

分类器做分类问题的实质是预测一个已知样本的位置标签，即 $P(Y=1|X=< X_1,...,X_n>)$ 。按照朴素贝叶斯的方法，可以用贝叶斯概率公式将其转化为类条件概率(似然)和类概率的乘积。本实验是直接求该概率。

假设分类问题是一个0/1二分类问题：
$P(Y=1|X)=\frac {P(Y=1)P(X|Y=1)} {P(X)}\\ \qquad\qquad\qquad\qquad\qquad\qquad\qquad=\frac{P(Y=1)P(X|Y=1)} {P(Y=1)P(X|Y=1)+P(Y=0)P(X|Y=0)}\\ \qquad\qquad=\frac {1}{1+\frac{P(Y=0)P(X|Y=0)}{P(Y=1)P(X|Y=1)}}\\ \qquad\qquad\qquad\quad\;=\frac {1}{1+\exp (\ln\frac{P(Y=0)P(X|Y=0)}{P(Y=1)P(X|Y=1)})}$
令 $\pi = P(Y=1)$ ， $1-\pi = P(Y=0)$
$P(Y=1|X)=\frac{1}{1+\exp(\ln \frac{1-\pi}{\pi}+\sum_i \ln \frac {P(X_i|Y=0)}{P(X_i|Y=1)})}\\$

假设类条件分布服从正态分布且方差不依赖于 $k$ 。 $P(x|y_k)=\frac {1}{\sigma_i\sqrt{2\pi}}e^{\frac{-(x-\mu_k)^2}{2\sigma_i^2}}$
$P(Y=1|X)=\frac{1}{1+\exp(\ln \frac{1-\pi}{\pi}+\sum_i \ln \frac {\frac {1}{\sigma_i\sqrt{2\pi}}e^{\frac{-(x_i-\mu_{i0})^2}{2\sigma_i^2}}}{\frac {1}{\sigma_i\sqrt{2\pi}}e^{\frac{-(x_i-\mu_{i1})^2}{2\sigma_i^2}}\\})}\\ \qquad\quad\;=\frac{1}{1+\exp(\ln \frac{1-\pi}{\pi}+\sum_i \ln \frac {e^{\frac{-(x_i-\mu_{i0})^2}{2\sigma_i^2}}}{e^{\frac{-(x_i-\mu_{i1})^2}{2\sigma_i^2}}\\})}\\ \qquad\qquad\qquad\qquad=\frac{1}{1+\exp(\ln \frac{1-\pi}{\pi}+\sum_i (\frac{-(x_i-\mu_{i0})^2}{2\sigma_i^2}- \frac{-(x_i-\mu_{i1})^2}{2\sigma_i^2}))}\\ \qquad\qquad\qquad\quad=\frac{1}{1+\exp(\ln \frac{1-\pi}{\pi}+\sum_i (\frac{(x_i-\mu_{i1})^2}{2\sigma_i^2} - \frac{(x_i-\mu_{i0})^2}{2\sigma_i^2}))}\\ \qquad\qquad\qquad\;\;=\frac{1}{1+\exp(\ln \frac{1-\pi}{\pi}+\sum_i (\frac{\mu_{i0}-\mu_{i1}}{\sigma_i^2}x_i + \frac{\mu_{i1}^2-\mu_{i0}^2}{2\sigma_i^2}))}\\$