机器学习中的线性回归解析

线性回归定义：

假设存在多个特征，其与输出存在线性关系，即:

已知和，线性回归目的就是求出。

下面我们开始线性回归的推导过程，最终会推导出一个非常经典的公式。

首先我们假设我们已经得到值，因为是我们随机给的所以肯定存在很大的误差，我们假设这个误差为

则我们用矩阵可以将线性回归表示为

由于中心极限定理 服从正态分布且独立同分布，其分布均值为0，方差为

已知以上信息后开始求极大释然函数的几个步骤，下面我开始手写推倒：

以上推到通过矩阵推导出了一个非常经典的公式，当我们有多组数据只要将数据矩阵化后带入公式就可以直接求参数值，当前有一个可逆的前提，然后在实际的大量项目中我们不直接使用该公式，因为当数据量非常大的时候用该公式做高纬矩阵的运算时相当耗时的，所以只有在数据量不是很大的时候我们可以直接带入公式求解。在数据量较大的时候我们可以引入一些新的算法来计算，例如随机梯度下降等，就相当于在上式求导的过程做了手脚，通过反向传播修改值来使得梯度下降直到最优解，当然这儿会涉及到梯度下降和反向传播的知识，我会在后续博文中陆续更新相关推导过程。