颹蕭蕭

hp 滤波的原理，解法，python 实现

最小绝对偏差 (Least Absolute Deviations, LAD) 与最小二乘法（假设误差服从高斯分布）类似：当假设线性回归的误差服从拉普拉斯分布时，最小绝对偏差回归是对参数的最大似然估计。问题描述min⁡x∣∣Wx−y∣∣1\min_{x} \quad || Wx-y||_1xmin​∣∣Wx−y∣∣1​等价于min⁡νs.t.ν=∣∣Wx−y∣∣1\begin{arr...

你可能知道这个定理是用来加速计算的，但你知道怎么用这个定理吗？什么时候可以用？

自己造轮子，实现各种梯度下降优化器！

矩阵 A 的谱范数，即矩阵的最大奇异值，也是矩阵 A^\top A 的最大特征值

交替更新原变量和对偶变量，更新对偶变量时采用梯度上升法

把约束问题转化成无约束问题

LASSO, 近端梯度法

字典学习之K-SVD算法，python 实现

梯度下降算法：Hessian 矩阵 与 学习率 的关系

增广拉格朗日函数法 （ALM）求解 线性规划（LP）

半光滑牛顿法解线性规划

Douglas-Rachford 迭代算法求解 线性规划

使用 交替方向乘子法（ADMM） 解 线性规划问题 （LP）

共轭梯度法 (CG) 解线性方程组 Ax=b, 方阵 A 必须是对称正定的

增广拉格朗日函数法 Augmented Lagrangian method

Basis Pursuit problem：为什么用 lasso 替代BP参考文献：The Bregman Iterative Algorithm for `1-Minimization

矩阵的诱导范数，矩阵的谱半径，实对称阵的谱半径是矩阵元素的连续函数

不一定哟

当 p≥1 时，向量的 Lp 范数是凸函数；当 p＜1 且 p≠0 时，向量的 Lp 范数是凹函数。

线性规划的对偶问题的对偶问题是原问题

线性规划的对偶问题、弱对偶性、KKT条件

线性规划对偶问题的推导

利用对数函数的凹性，证明Hölder 不等式

2范数的对偶范数是 2范数，1范数的对偶范数是 ∞范数，∞范数的对偶范数是 1范数，对偶范数的对偶范数是原范数。

共轭函数的定义；范数的共轭函数是其对偶范数单位球的示性函数。

在优化问题中常用的锥有：非负象限锥、半正定锥、范数锥。我们来看它们各自的对偶锥是什么。

证明函数凸性的一种判据。

判断函数是否为 凸函数 的重要方法！

支撑向量机，核函数

latex练习

利用凸优化解决压缩感知的核心问题：稀疏信号重建。