Eason的博客

局部最优的充分和必要条件∇f(x∗)=0,∇2f(x∗)≻0(Hessian矩阵正定)⇒x∗为局部最优点\nabla f(x^*)=0, \quad \nabla^2 f(x^*)\succ 0 (Hessian矩阵正定) \quad \Rightarrow \quad x^*为局部最优点x∗为局部最优点⇒∇f(x∗)=0,∇2f(x∗)⪰0(Hessian矩阵半正定)x^*为局部最优点\qu

香农信息量信息量表示不确定性的大小。 信息量的单位是比特（bit）。香农信息量=log1p=−logp(以2为底)香农信息量=\log\frac{1}{p}=-\log p\quad(以2为底)上式中，p越小，则不确定性越大，包含的信息量就越多。比如32支球队，在无任何先验信息的前提下，用二分法猜冠军队伍，最多猜5次，那么信息量就是log132=5\log \frac{1}{32}=5。信息熵（En

近端梯度法（Proximal Gradient Method ，PG）算法简介  近端梯度法是一种特殊的梯度下降方法，主要用于求解目标函数不可微的最优化问题。如果目标函数在某些点是不可微的，那么该点的梯度无法求解，传统的梯度下降法也就无法使用。PG算法的思想是，使用临近算子作为近似梯度，进行梯度下降。概念定义临近算子（proximity operator）proxf(x)=argminy∈Rnf(y