《机器学习》——第三章线性模型

最新推荐文章于 2025-02-17 19:00:27 发布

vikiminimomo

最新推荐文章于 2025-02-17 19:00:27 发布

阅读量491

点赞数 2

CC 4.0 BY-SA版权

分类专栏：机器学习

本文链接：https://blog.youkuaiyun.com/vikiminimomo/article/details/90740595

本文详细介绍了线性模型，包括最小二乘法、对数几率回归与线性回归的区别联系，以及线性判别分析。通过最小二乘法估计对数几率回归参数，并利用极大似然估计构建高阶可导凸函数。此外，讨论了OvO、OvR、ECOC等多分类策略，以及类别不平衡问题及其缓解方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

线性回归与分类

1、最小二乘的原则是什么？写出多元线性回归的参数估计

最小二乘法指基于均方误差最小化来进行模型求解的方法，故最小二乘的原则是：均方误差最小。

2、“对数几率”回归和“线性”回归的区别和联系。

对数几率回归是考虑到二分类问题引入的一种方法。
理想状态下是阶跃函数完成二分类：
$\left\{ \begin{array}{rcl} 0, & & {z < 0}\\ 0.5, & & {z = 0}\\ 1, & & {z > 0}\\ \end{array} \right.$
然而阶跃函数不可导，可以用对数几率函数代替，也就是令：
$=\frac{1}{1+e^{-z}}$
其中 $z$ 是线性模型的预测值，这是一种Sigmoid函数。上式可以变化为：
$\ln\frac{y}{1-y} =z=\bm{w}^T\bm{x}+b$
可以将上式中 $y$ 视为 $\bm{x}$ 为正例的几率，( $1 - y$ ) 视为 $\bm{x}$ 为反例的几率，两者的比值成为几率，对几率取对数便得到对数几率。实际上，上式对应的模型是用线性回归的结果逼近真实标记的对数几率，所以称为对数几率回归，它实际是一种分类学习方法。

联系：它们都是用的广义线性回归的模型。
区别：对数几率回归用来完成二分类任务，线性回归完成回归任务。
在这里插入图片描述

阶跃函数与对数几率函数

3、用最小二乘法估计对数几率回归的参数

对数几率回归的模型为：
$=\frac{1}{1+e^{-(\bm{w}^T\bm{x}+b)}}$
使模型求出的 $f (x)$ 与真实分类 $y$ 之间的均方误差最小:
$\sum^m_{i=1}(f(x_{i})-y_{i})^2 \Rightarrow (\bm w, b) = \arg \min\sum^m_{i=1}(f(x_{i})-y_{i}) ^2$