最小二乘法(least square method)的直观认识

背景

关于最小二乘法(LSM,least square method)网上有很多讲解，但是看起来难免有些晦涩，很多也说不清楚看得莫名其妙，最近机器学习programming作业需要实现5种不同的回归的方法，其中最基础的就是LSM，所以不如趁这个机会讨论下如何直观的认识它的本质。本文主要关注点是最小二乘法的矩阵形式推导和几何的直观理解(可能会有很多不太严谨的地方，欢迎斧正)。

正文

在Ax=b中，A是一个向量组，假设其中有列向量(a1,a2...an)；

x是一个"系数向量"，假设是有(x1，x2...xn)转置；

b是最终向量,显然也有(b1,b2...bn)转置。

那其实这个公式展开后就会有这样的关系, a1x1+a2x2+...+anXn=b，可以明显看出来，之所以x称之为系数向量，是因为b是A向量组内部列向量通过x向量中系数配置的线性组合而形成的。

接下来思考一下，如果不存在一个系数向量x让A向量组可以线性表示b的情况，那什么样的x系数能做到让A向量组线性组合后最接近b呢?

这里先引入一个概念：张成(span)。直观解释是，向量v1,v2,