大疆笔试中的涉及矩阵最小二乘求解思路

在做大疆笔试题时有个一个最小二乘矩阵求解问题的简答题，当时紧张完全有点蒙逼，写了一部分，但是没有做好，所以下来总结一下经验教训，加深记忆。（最好还是多看看矩阵微分和积分，本人这方面学的不好，感觉要好好哦补补啦）

最小二乘法解的矩阵形式推导

从矩阵的角度来理解：

首先我们给出一个矩阵中的定义：

有了上面的定义之后，我们就可以写出最小二乘问题的矩阵形式：

就是求在欧几里得空间中以2-范数作为距离，使得向量Ax与b之间距离最小的x。 我们的目标是求： 

当然我们知道，使得距离最小的向量x与使得距离平方最小的向量x是相同的，于是我们可以将所求的目标改写为：

结合一些矩阵、行列式的知识，我们知道：

根据大学的高数知识，求最极值问题直接对应的就是导数为零，因此我们试图将所给出的原式的矩阵形式求导：

不过首先需要补充矩阵微积分(matrix calculus)的一些知识

如果矩阵A是对称的(symmetric matrix):

接下来，对原式化简并求其对x的导数：

求导得到：

于是就得到了，最小二乘法解的矩阵形式：

当然了，这里是最简答的线性最小二乘法，还有更为复杂的非线性以及矩阵A不满秩的情况

而大疆笔试题中给出的不是对对称矩阵，根据这个思路是可以推出来的