【西瓜书阅读笔记】03线性模型

一、基本形式

1、问题描述

2、函数形式

 3、向量形式

二、线性回归

1、一元线性回归

（1）问题描述

（2）目标函数

（3）目标函数求解

 2、多元线性回归

（1）关系式

（2）目标函数

满足满秩矩阵要求才可求逆。

 （3）非满秩情况

3、对数线性回归（log-linear regression）

(1) 关系式

 （2）图像

4、广义线性模型

 三、对数机率回归（逻辑回归）logistic regression

1、考虑二分类问题，y={0,1}

2、关系函数

（1）单位跃迁函数 unit-step function

该函数不可导，因此使用对数几率函数

（2）对数几率函数logistic function sigmoid

1）关系式

 

 2）性质

3）本质：用线性回归模型的结果去逼近真实标记的对数几率

4）优点：

 5）求解

补最大似然估计知识：【最透彻】13_最大似然估计【小元老师】考研数学，概率论与数理统计_哔哩哔哩_bilibili主要内容：最大似然估计的原理，步骤，三个例题精讲https://www.bilibili.com/video/BV1bx411E7cL?from=search&seid=17148535208114174312&spm_id_from=333.337.0.0

【数学基础】最大似然估计_Checkmate9949的博客-优快云博客1、离散型随机变量若使X取4，5，6时的连乘概率最大，则P取0.5；2、连续型随机变量若是概率值f(x)连乘结果最大，则绿线u=100时满足条件。在现实中，通过使f(x)连乘结果最大，对u进行估计，即最大似然估计。...https://blog.youkuaiyun.com/Checkmate9949/article/details/120297243?spm=1001.2014.3001.5501最终求得beta

四、线性判别分析

1、概念

 2、二维图例

五、多分类学习

六、类别不平衡问题

1、概念

正例与反例相差过大。

2、当正例与反例数量相同时

 3、假设训练集是总体样本的无偏采样，且正例与反例相差多大时的补救措施：

4、再缩放，基于公式3.46进行适当修改，使其执行式3.47：

5、若假设“训练集是总体样本的无偏采样”不成立：

（1）欠采样：删除例子，使正反例数目接近；可能丢失重要信息；EasyEnsemble算法，将反例划分为若干个集合供不同的学习器学习，每个学习器都进行了欠采样，全局看未丢失重要信息。

（2）过采样：增加例子，使正反例数目接近；不能对初始样本进行重复采样，否则会造成过拟合。

（3）阈值移动：基于原始训练集学习，但根据式(3.48)嵌入其决策，进行预测。

七、梯度下降法

1、基本思想

过于复杂问题难以求导得解，以初始值迭代计算Loss函数

2、批量梯度下降

损失函数对各参数求偏导，在不同方向寻求Loss函数的最小化

 

 3、随机梯度下降

随机选择一个方向

4、学习率问题

（1）学习率过小或过大

 （2）解决方法：

1）网格搜索：设定迭代次数，尝试几种可能的参数，比较结果，选择最优。有点类似validation作法，即从validation数据集选择最优的参数，用于test。

2）梯度限制：设置大量迭代，当梯度向量小于某值时停止。

（3）局部最优与全局最优：