maum61的专栏

1 最近一直在拜读斯坦万格大学的Karl Skretting教授的文章。字典学习算法中响当当的一些算法都出自K.S.团队，例如MOD。其字典学习算法家族中的另一份成员便是iterative least squares based dictionary learning algorithms（ILS-DLA）。文章组织结构跟随其关于ILS-DLA论文的结构编排。文章仅仅是学习笔记，不适合当做学习入门...

首先，关于最优化问题。一直理解不到位，今天终于醍醐灌顶。最优化问题，其实降维之后，就是一元方程的求极值问题。例如，一个一元二次函数， ,求其极小值。显然，高等数学的方法为先求其一阶导数，一阶导为0的点，即是驻点。再求驻点处的二阶导数，假如二阶导数大于零，则该点极小值，假如二阶导小于零，则为极大值。若=0，则不是极值。将该一元方程推广到多元二次方程。其实就是到了数字信号处理或数字图像处理上了，或者是...

一 不动点是什么？不动点，其实定义比较简单，对于一些方程，例如f(x)=cosx，那么令cosx=x的点就是函数的不动点，说白了，就是y=x这条直线与函数曲线的交点。这个不动点有什么用呢？请继续往下看。二 不动点迭代法的实现不动点迭代法，是求方程的迭代方法。为什么要迭代的求，直接法不好吗？直接法显然比较好，但是存在弊端，比如函数形式较复杂时，求解器不容易直接求得。利用不动点的性质，可以...

共轭梯度法（Conjugate Gradient）是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性最优化最有效的算法之一。以上参考百度百科的共轭梯度法，但是一开始没看明白，结合《数值分析》中的一些解释，结合自己的理解，算是...

相信大家到了关注卡尔曼滤波原理推导的阶段，已经对卡尔曼滤波有所了解了，大概知道，卡尔曼滤波是应用在含有噪声的、模型（预测）基本知道一些的、传感器测量含有噪声的这种场合，对真实的状态（或变量值）进行最优估计。 卡尔曼滤波的详细推导过程各大博主都有详细介绍，写本文的主要目的是查漏补缺，并结合进去一些自己的理解，帮助更多人去学习卡尔曼滤波。为了符号的一致性，在看了几篇关于卡...