Jakob_Hu的博客

线性模型1.一般线型回归1.1 相性回归与最小二乘法1.2 线型模型正则化1.2.1 岭回归1.2.2 Lasso 回归1.2.3 ElasticNet回归2.逻辑回归（对数几率回归）3.线性判别分析3.1二分类线性判别1.一般线型回归1.1 相性回归与最小二乘法线性回归试图学得1.2 线型模型正则化1.2.1 岭回归1.2.2 Lasso 回归1.2.3 ElasticNet回归...

线性模型理论拓展1. 多分类问题1.1 OvO拆解1.2 OVR拆解1.3 MvM拆解1.3.1 二元ECOC编码1.3.2 三元ECOC编码2. 类别不平衡问题3. 拓展之前的线性模型笔记讨论的是简单的线性回归、对数几率二分类和线性判别二分类问题，但是在现实情况下，类别的数目可能远多于2种，切每个类别的样本之间存在着不平衡性等情况。这就是本节笔记要讨论的内容。1. 多分类问题多分类问题的...

决策树算法1. 构建决策树1.1 特征选择（1）熵与条件熵1. 构建决策树决策树构建的3个步骤：（1）特征选择（2）决策树生成（3）决策树剪枝构建步骤如下：1.构建根节点，所有的数据起初都在根节点上。2.选取最优特征，通过这一特征将训练数据分割成子集。分割后，如果这一子集已经被较好的分类，则该子集形成叶节点；反之，则对该子集进一步分类，该子集只作为中间节点存在。3.递归至所有样...

HMM模型1. 概述解决问题1：概率求解问题前向概率1）暴力求解2）前向算法后向概率其他重要概率1）求取γ~t~(i)2）求取ξ~t~(i, j)3）观测序列为O时，1. 概述首先需要明确的是HMM不是算法，它本质上是一个模型，但是借助该模型能够解决三种问题，概括而言，隐马尔科夫模型针对的三类问题为1）求解概率问题2）求解模型参数问题3）预测问题这三类问题的解决都是建立在模型的三个...