maum61的专栏

最近需要用到最小二乘法，尽管一直知道通过matlab直接就能实现，但是具体做法以及推导过程不清楚，心虚，以此博文记录一下。回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。对于二维空间线性是一条直线；对于三维空间线性是一个平面，对于多维空间线性是一个超平面。[4]最常用的是普通最小二乘法（ Ordinary ...

K-svd采用逐列更新的方法更新字典，就是当更新第k列原子的时候，其它的原子固定不变。假设我们当前要更新第k个原子αk，令编码矩阵X对应的第k行为xk，则目标函数为：一直没看明白这个表达式，刚才通过matlab验证，终于弄懂了。目标函数描述的是使通过字典D和X描述出的与原始信号矩阵Y的残差。DX相乘没问题，那DX与是怎么等价呢？这里的xj是行向量，是系数矩阵的第j行；aj是列向量，是字典矩...

       最近在拜读Michael Elad的《Sparse and Redundant Representations》，里面关于IRLS的讲解比较透彻（根据Gorodnitsky and Rao的理论），从理论到算法的过程，和大家分享一下。知识水平有限，望各位指出错误，不吝赐教。一. 阅读以下内容需具备的知识基础1. SVD分解       可以参考：https://www.c...