机器学习西瓜书-第3章【至3.4】

由于部分内容之前学习过，所以省略了不少内容。这次学习完善了线性回归相关的体系和概念，使自身知识库更加严谨。

---

第 3 章 线性模型

3.1 基本形式

$$f(x)=w^{T}x+b$$

由于$w$直观表达了各属性在预测中的重要性，因此线性结构具有很好的可解释性（comprehensibility）

3.2 线性回归

“线性回归”（linear regression）试图学得一个线性模型以尽可能准确地预测实值输出标记

对离散属性，若属性值间存在“序”（order）关系，可通过连续化将其转化为连续值。（One-Hot编码？）

最小二乘法-均方误差：略

求解$w和b$使得均方误差最小化的过程，称为线性回归模型的最小二乘“参数估计”。

当$X^{T}X$不是满秩矩阵时，会解出多个$w$，都能使得均方误差最小化，选择哪个将有算法偏好决定，常见做法是引入“正则化”（regularization）。

“对数线性回归”：当认为输出标记在指数尺度上变化，可$lny=w^{T}x+b$

广义线性模型：$y=g^{-1}(w^{T}x+b)$，其中函数$g(\cdot )$称为“联系函数”。

3.3 对数几率回归

单位阶跃函数：$y=\{\begin{array}{l}0,z<0\\ 0.5,z=0\\ 1,z>0\end{array}$

由于单位阶跃函数并不连续，所以不能把其直接作为替代函数——>对数几率函数：$y=\frac{1}{1+e^{-z}}$

对数几率函数是一种“sigmoid函数“

若将$y$视作样本$x$作为正例的可能性，则$1-y$反之，两者的比值$\frac{y}{1-y}$称为”几率“，对几率取对数得到”对数几率“（俗称，logit）

极大似然估计

似然估计：

最大似然估计（Maximum Likelihood Estimation，简称MLE）是一种统计方法，用于估计一个概率模型的参数。下面用通俗易懂的方式来讲解最大似然估计：
假设你有一袋彩色的糖果，但你不知道每种颜色糖果的比例。现在，你从袋子里随机抓一把糖果，希望通过这些糖果的颜色来推测袋子中各种颜色糖果的比例。这个过程就可以用最大似然估计来描述。
以下是具体步骤：

1. 抓取样本：你从袋子里随机抓了一把糖果，这就是你的样本。
2. 建立模型：假设袋子中糖果的颜色比例是固定的，我们可以用概率分布来描述这个模型。比如，红色糖果的比例是p，绿色糖果的比例是q，蓝色糖果的比例是r，且p+q+r=1。
3. 似然函数：似然函数是用来描述样本出现的概率。在这个例子中，似然函数就是根据你抓到的糖果颜色，计算出在假设的糖果颜色比例下，出现这个样本的概率。
4. 寻找最大似然估计值：我们要找到一组参数（p、q、r），使得似然函数的值最大。换句话说，就是找到一种糖果颜色比例，使得你抓到的这把糖果出现的概率最大。
5. 估计参数：通过数学方法（比如求导、令导数为零等），我们可以找到使似然函数最大的参数值，这组参数就是最大似然估计值。
   总结：最大似然估计就是通过观察到的样本数据，来推测模型参数的一种方法。它的核心思想是，选择那些使得样本出现概率最大的参数值作为估计值。在实际应用中，这种方法可以帮助我们更好地了解数据的分布特征。

一、确定概率质量函数

对于 y ∈ { 0 , 1 } y \in \{0, 1\} y∈{ 0,1}，分别建模有；
p ( y = 1 ∣ x ) = 1 1 + e − ( w T x + b ) = e w T x +