sinat_36118365的博客

文章目录一个中心两个基本点最大投影方差最小重构距离笔记手稿一个中心将一组可能线性相关的变量通过正交变换变成一组线性无关。（将原始数据重新构造）两个基本点最大投影方差中心化投影对数据进行中心化后，根据数据的最大投影方差。找到主成分最小重构距离原始K维，构造m个（m<k）不同向量，每个向量间都是正交的。对这些特征值进行排序，获取前n个对应的特征向量。笔记手稿...

发展：优化算法的主要步骤：SGD：下降梯度就是最简单的最大的缺点是下降速度慢，而且可能会在沟壑的两边持续震荡，停留在一个局部最优点。SGD with Momentum下坡的时候，如果发现是陡坡，那就利用惯性跑的快一些引入了一阶动:一阶动量是各个时刻梯度方向的指数移动平均值，约等于最近 1/(1 - β) 个时刻的梯度向量和的平均值。也就是说，t时刻的下降方向，不仅由当前点...

题目：下面有关序列模式挖掘算法的描述，错误的是？  AprioriAll算法和GSP算法都属于Apriori类算法，都要产生大量的候选序列  FreeSpan算法和PrefixSpan算法不生成大量的候选序列以及不需要反...

文章目录前提：主要内容先验分布——共轭分布Beta分布——Dirichlet分布三层贝叶斯网络模型LDAGibbs采样和更新规则应用方向前提：利用朴素贝叶斯的分析可以胜任许多文本分类问题但是无法解决语料中***一词多义*** 和***多词一义***的问题那么可以加入一个“主题”的方式，一定程度可以解决一个词可能被映射到多个主题中：一词多义多个词可能被映射到某个主题的概率很高：多词一义...

...

...

关于Viterbi的理解，网上有很多小故事和例子来解释。下面只是自己对Viterbi的一些总结笔记。如果要计算S到E的最短距离，最开始的想法都是先遍历S到E的所有路径，然后找到最短的路径。而Viterbi算法就是从S到E寻找路径的过程中，逐步优化。具体是：S到a的三个点的距离不能武断地就指出哪条是最短的。每条路的选择都有可能是最终的最短路径。接着看a到b的距离。...

EM算法也就是期望最大算法。由E—step 和 M—step组成，是一种迭代算法。用于解决隐变量的混合模型的参数估计。首先用例子来说明一下：现在一个班里有 50 个男生和 50 个女生，且男女生分开。我们假定男生的身高服从正态分布：，女生的身高则服从另一个正态分布：。这时候我们可以用极大似然法（MLE），分别通过这 50 个男生和 50 个女生的样本来估计这两个正态分布的参数。...

在学习EM算法的时候，涉及了这两个知识。在此先提前学习一下这两个知识点。KL散度KL散度就是相对熵，用于衡量两个概率分布之间的差异。对于两个概率分布p(x) 和 q(x)，其相对熵的计算公式为：由于p(x) 和 q(x)在公式中的地位不是相等的，所有KL（p || q） 不等于 KL（q || p）。相对熵的特点是，只有当p(x) = q(x)时，其值为0，若两者略有差...

判别方法：由数据直接学习决策函数 Y = f（X），或者由条件分布概率 P（Y|X）作为预测模型，即判别模型。（针对P（y|x）建模）生成方法：由数据学习联合概率密度分布函数 P（X,Y）,然后求出条件概率分布P(Y|X)作为预测的模型，即生成模型。由生成模型可以得到判别模型，但由判别模型得不到生成模型。（针对P（x,y）建模）常见的判别模型有：K近邻、SVM、决策树、感知...

一、算法思想1.递归算法（recursion algorithm）大师 L. Peter Deutsch 说过：To Iterate is Human, to Recurse, Divine.中文译为：人理解迭代，神理解递归。直接或间接地调用自身的算法称为递归算法。 递归是算法设计与分析中常用的一种技术，描述简单且易于理解。2.分治法（divide and conquer method）...

Fisher 准则 ：根据两类样本一般类内密集，类间分离的特点，寻找线性分类器最佳的法线向量方向，使两类样本在该方向上的投影满足类内尽可能密集，类间尽可能分开。这种度量通过类内离散矩阵 Sw 和类间离散矩阵 Sb 实现。更广泛的称呼是线性判别分析（LDA），将所有样本投影到一条远点出发的直线，使得同类样本距离尽可能小，不同类样本距离尽可能大，具体为最大化“广义瑞利商”。感知准则函数 ：准则函数以...

在很多的机器学习问题种，输入x是一个向量，输出p(x)为某一个时间的概率（比如，x属于某个类别的概率）。一观测的数据集D，其中x1，x2，x3……独立同分布。我们将输入x所满足的概率分布建模为p(D,θ)，则对新输入的预测为p(x|D,θ)，其中θ是一个向量，表示待去顶的所有模型参数。那么如果求解或者估计出θ的值呢？频率学派VS贝叶斯学派对于θ的本质不同认识，可以分为两...

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 ...

1、错误率 预判错误的概率2、精度 判断正确的概率3、二分类混淆矩阵预测的结果和真实的结果分成四类：查准率（准确率） P （precision） = TP+FP：预测为正的 样本查全率（召回率） R （recall）= TP+FN: 真正的全部正样本F1 值：F1 = ...

1. 梯度下降法（Gradient Descent）2. 牛顿法和拟牛顿法（Newton's method &Quasi-Newton Methods）3. 共轭梯度法（Conjugate Gradient）4. 启发式优化方法5. 解决约束优化问题——拉格朗日乘数法...

概率分布是随机变量所有可能结果及其相应概率的列表。概率分布的目的：反向推演出某一个事态（随机变量）发生的概率，为决策提供依据，掌控事态变化的关键。下图是多种概率分布的联系。其中共轭（conjugate）表示的是互为共轭的概率分布；Multi-Class 表示随机变量多于 2 个；N Times 表示我们还会考虑先验分布 P(X)。共轭的意思 ...

涵盖 K-means 、 Mean-Shift 、DBSCAN、基于高斯混合模型(GMM)的期望最大化（EM）聚类、凝聚层次聚类K-means 算法 K-means的假设是：将某一些数据分为不同的类别，在相同的类别中数据之间的距离应该都很近，也就是说离得越近的数据应该越相似，再进一步说明，数据之间的相似度与它们之间的欧式距离成反比。过程：K-mea...

目录背景FM 因子分解FM模型的核心作用可以概括为以下三个：与其他模型相比，它的优势如下：FFM（场感知分解机,Field-aware Factorization Machine）背景DeepFMFM/FFM与其它模型对比背景在人工方式的特征工程，通常有两个问题：1、特征爆炸2、大量重要的特征组合都隐藏在数据中，无法被专家识别和设计针对上述两个问题，广度模型和深度模型提供了不同的解决思路...