记忆碎片的博客

文章目录贝叶斯定理与概率论中相关概念属性条件独立性假设朴素贝叶斯分类器朴素贝叶斯分类器公式离散属性与连续属性值的分别处理朴素贝叶斯分类器实例拉普拉斯修正EM算法使用EM算法的现实意义EM 算法步骤EM算法实例贝叶斯定理与概率论中相关概念具体原理可看这篇文章：https://blog.youkuaiyun.com/zgcr654321/article/details/85201614贝叶斯公式：P(c∣...

文章目录集成学习介绍Bagging方法随机森林（random forests）Boosting方法Adaboost集成学习的结合策略集成学习介绍集成学习通过构建并组合一系列的个体学习器（基学习器或组件学习器）来完成学习任务。个体学习器可分为：同质学习器（基学习器）和异质学习器（组件学习器）。所谓同质和异质就是指个体学习器是否为同种学习算法类型的学习器（同种为同质，不同种为异质）。弱学习器指...

文章目录sigmoid函数逻辑回归原理推导极大似然估计法与梯度下降法估计模型参数极大似然估计梯度下降法sigmoid函数sigmoid函数公式:σ(x)=11+e−x \sigma(x)=\frac{1}{1+e^{-x}} σ(x)=1+e−x1​当x趋近于负无穷时，函数值趋近于0；当x趋近于正无穷时，y趋近于1；当x= 0时，y=0.5。这种特征使得sigmoid函数很适合用来做二...

文章目录梯度提升树介绍梯度提升树介绍基于梯度提升算法的学习器叫做 GBM（Gradient Boosting Machine）。理论上，GBM可以选择各种不同的学习算法作为基学习器。但在现实中，用得最多的基学习器是决策树。当使用的基学习器是决策树时，我们称之为梯度提升树（Gradient Boosting Decision Tree）。梯度提升树的主要思想是，每一次建立模型是在之前建立模型损...

文章目录K-Means算法介绍K-Means算法计算过程K-Means算法损失函数肘部法则寻找最优K值轮廓系数法寻找最优K值K-Means++算法:初始化质心的优化方法K-Means算法介绍K-Means算法是一种无监督的聚类算法，其中K表示类别数，Means表示均值。它是一种通过均值对数据点进行聚类的算法。K-Means算法通过预先设定的K值及每个类别的初始质心对相似的数据点进行划分。并通过...

文章目录

文章目录支持向量机(SVM)算法介绍线性可分支持向量机原理线性可分支持向量机的定义函数间隔、几何间隔与硬间隔最大化线性可分支持向量机学习算法支持向量与间隔边界线性可分支持向量机学习算法的对偶算法及其求解方法线性支持向量机原理线性支持向量机定义软间隔最大化线性支持向量机学习算法的对偶形式及求解方法软间隔的支持向量非线性支持向量机原理非线性分类问题、核函数与核技巧核技巧在支持向量机算法中的应用核函数的...

文章目录决策树介绍决策树的构造过程基于信息论的三种决策树算法ID3算法：基于最大信息增益准则选取特征信息熵与信息增益、最大信息增益准则ID3算法计算实例决策树介绍决策树是一种预测模型，他代表的是对象特征与特征值之间的一种映射关系。树种每个根结点（非叶子结点）代表数据的特征标签，根据该特征不同的特征值将数据划分成几个子集，每个子集都是这个根结点的子树，然后对每个子树递归划分下去，而决策树的每个叶...

文章目录感知机介绍感知机模型感知机模型的函数感知机模型的损失函数感知机介绍感知机是一个二类分类的线性分类器，是支持向量机和神经网络的基础。感知机假设数据是线性可分的，目标是通过梯度下降法，极小化损失函数，最后找到一个分割超平面，可以将数据划分成两个类别。使用感知机一个最大的前提，就是数据是线性可分的。这严重限制了感知机的使用场景。它的分类竞争对手在面对不可分的情况时，比如支持向量机可以通过核...

文章目录KNN算法原理KNN算法三要素K值的选择距离度量的方式分类决策规则KNN算法的计算过程KNN算法实例KNN算法的优点和缺点KNN算法原理KNN算法的核心思想是如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。K通常是不大于20的整数。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者...

文章目录概率图模型与隐马尔可夫模型隐马尔可夫模型原理隐马尔可夫模型定义两个基本假设和三个基本问题概率计算问题:P（O|λ）的计算方法直接计算方法（概念上可行，计算上不可行）前向算法后向算法一些概率值与期望的计算学习问题:监督学习方法和非监督学习方法（Baum-Welch算法）监督学习方法非监督学习方法——Baum-Welch算法预测问题（解码问题）:近似算法和维特比（Viterbi）算法近似算法维...