weixin_40718824的博客

>>>几何解释>>>矩阵近似矩阵在佛罗贝尼乌斯范数下的最有近似的证明>>>使用外积展开式求解矩阵近似

>>>参考三个博客：https://blog.youkuaiyun.com/abc200941410128/article/details/78541273https://blog.youkuaiyun.com/Katherine_hsr/article/details/79382249https://www.zhihu.com/question/34554321>>>层次聚类>>>均值聚类...

>>>条件随机场的参数化形式>>>条件随机场的矩阵形式>>>计算概率问题>>>学习算法>>>预测算法（维特比算法）

>>>隐马模型的基本问题>>>概率计算问题前向算法后向算法一些固定表述>>>学习算法，求解参数下图只列出了Πi的推导过程，aij和bj(k）推导同理>>>预测算法维特比算法...

>>>EM算法推导下图的主要步骤是通过构造詹森不等式，将对期望的函数转化为函数的期望，也即将求期望的权值也即下图中的P(Z|X）移到log函数外面。log函数为凹函数，所以刚好期望的函数 要大于函数的期望，也即确定了下界。>>>EM算法的步骤>>>三硬币问题...

>>>adaboost算法过程>>>误差分析>>>证明前向分布算法的损失函数为指数损失函数时等价于Adaboost算法>>>梯度提升树的理解 参考:https://blog.youkuaiyun.com/anshuai_aw1/article/details/82888222个人理解：1）本质上梯度提升是让每次拟合时的损失函数减小，也即希望每次拟合后的真实值和预测值的残差减..

>>>推导过程可参考：https://www.bilibili.com/video/BV1mE411p7HEhttps://www.bilibili.com/video/BV12E411T7ZNhttps://www.bilibili.com/video/BV1uE411V7h4https://www.bilibili.com/video/BV1xE411w7Go>>>定理证明...

>>>牛顿法 ：https://blog.youkuaiyun.com/qq_28743951/article/details/82221515>>>拟牛顿法： 在牛顿法的基础上对海森矩阵或者海森矩阵的逆矩阵做近似https://blog.youkuaiyun.com/itplus/article/details/21896619>>>DFP拟牛顿法：对海森矩阵的逆矩阵做近似。 https://blog.youkuaiyun.com/itplus/article/detai...

>>>逻辑回归推导及其向量化：https://blog.youkuaiyun.com/qq_38923076/article/details/82925183>>>最大熵模型>>>关于拉格朗日对偶性>>>原问题最优解和对偶问题最优解的关系1）定理12）定理2：3）定理3：`>>>证明最大熵模型的对偶函数等价于条件概率分布为最大熵模型的极大似然估计...

>>>决策树构建>>>决策树剪枝（后剪枝）>>>后剪枝过程

>>>构造kd树对样本按照特征1从小到大排列，取特征1的中位数作为分界点，该点作为kd树的根节点，小于特征1中位数的划分到左子节点，大于特征1中位数的划分到右子节点。在两个子节点的所有样本中，按照特征2的值从小到大排列，分别划分节点。遍历特征个数创建树。如果所有特征数均用完，则从特征1开始继续构建。>>>根据kd数查找与目标点距离最近的点...

>>>定理2.1证明1）证明：2）证明>>>对偶形式

>>>课后题1.1>>>课后题1.2>>>课后题