sealir的博客

引言    本篇文章将详解带有约束条件的最优化问题，约束条件分为等式约束与不等式约束，对于等式约束的优化问题，可以直接应用拉格朗日乘子法去求取最优值；对于含有不等式约束的优化问题，可以转化为在满足 KKT 约束条件下应用拉格朗日乘子法求解。拉格朗日求得的并不一定是最优解，只有在凸优化的情况下，才能保证得到的是最优解，所以本文称拉格朗日乘子法得到的为可行解，其实就是局部极小值，接下来从无约束优化开...

贝叶斯决策    首先来看贝叶斯分类，我们都知道经典的贝叶斯公式：    P(w∣x)=P(x∣w)P(w)))P(x))P(w|x) = \frac{P(x|w)P(w)))}{P(x))}P(w∣x)=P(x))P(x∣w)P(w)))​    其中：    P(w)P(w)P(w)：为先验概率，表示每种类别分布的概率；    P(x∣w)P(x|w)P(x∣w)：为类条件概率，表示...

一、决策树    决策树是表示基于特征对实例进行分类的树形结构。    从给定的训练数据集中，依据特征选择的准则，递归的选择最优划分特征，并根据此特征将训练数据进行分割，使得各子数据集有一个最好的分类的过程。    决策树算法3要素：    （1）特征选择    （2）决策树生成    （3）决策树剪枝    关于决策树生成：    决策树的生成过程就是 使用满足划分准则的特征不断...

    如果说概率是对事件确定性的度量、那么信息（包括信息量和信息熵）就是对事物不确定性的度量。信息熵是由香农（C.E.Shannon）在1948年发表的论文《通信的数据理论（A Mathematical Theory of Communication）》中提出的概念。他借用热力学中热熵的概念（热熵是表示分子状态混乱程度的物理量），解决了对信息的量化度量问题，也常用来对不确定性进行度量。信息量...

二分类问题                                                                                                                                                           ...

转 一文看懂常用的梯度下降算法 2017年11月29日 00:00:00 JeemyJohn 阅读数：68295 作者：叶&n...

数据的向量表示及降维问题    1）高维特征的降维，以提高运算速度    2）白化对特征预处理，以去除特征之间的相关性，这是很多算法的预处理步骤向量的表示及基变换    两个维数相同的向量的内积被定义为：(a1,a2,...,an)⋅(b1,b2,...,bn)T=a1b1+a2b2+...+anbn(a_1, a_2, ..., a_n) \cdot (b_1, b_2, ..., b...