<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[大风车]]></title><description><![CDATA[无畏韶华,岁月可期。]]></description><link>https://blog.youkuaiyun.com/qq_32103261</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; qq_32103261]]></copyright><item><title><![CDATA[梯度下降法和牛顿法]]></title><link>https://blog.youkuaiyun.com/qq_32103261/article/details/131966419</link><guid>https://blog.youkuaiyun.com/qq_32103261/article/details/131966419</guid><author>qq_32103261</author><pubDate>Thu, 27 Jul 2023 22:00:39 +0800</pubDate><description><![CDATA[梯度下降法和牛顿法都是优化方法。]]></description><category></category></item><item><title><![CDATA[概率论：方差、标准差、协方差、皮尔逊相关系数、线性相关]]></title><link>https://blog.youkuaiyun.com/qq_32103261/article/details/131111683</link><guid>https://blog.youkuaiyun.com/qq_32103261/article/details/131111683</guid><author>qq_32103261</author><pubDate>Fri, 09 Jun 2023 09:33:53 +0800</pubDate><description><![CDATA[协方差和皮尔逊相关系数都可以衡量两个随机变量的线性相关性（注意只是线性相关性），协方差受随机变量数值大小的影响，而皮尔逊相关系数不受随机变量数值大小的影响。所以两随机变量的协方差越大并不代表这两个变量越线性相关，两随机变量的皮尔逊相关系数绝对值越大越线性相关。]]></description><category></category></item><item><title><![CDATA[线性代数：线性方程求解、矩阵的逆、线性组合、线性独立]]></title><link>https://blog.youkuaiyun.com/qq_32103261/article/details/130895634</link><guid>https://blog.youkuaiyun.com/qq_32103261/article/details/130895634</guid><author>qq_32103261</author><pubDate>Sat, 27 May 2023 22:41:52 +0800</pubDate><description><![CDATA[线性代数：线性方程求解、矩阵的逆、线性组合、线性独立]]></description><category></category></item><item><title><![CDATA[驻点以及二阶导对驻点的判断]]></title><link>https://blog.youkuaiyun.com/qq_32103261/article/details/122865634</link><guid>https://blog.youkuaiyun.com/qq_32103261/article/details/122865634</guid><author>qq_32103261</author><pubDate>Sat, 12 Mar 2022 22:14:42 +0800</pubDate><description><![CDATA[当一阶导数为 0 或者梯度向量为零向量时，该点为驻点，如何判断该驻点是局部最小值点还是局部最大值点还是鞍点呢？我们可以利用二阶导数判断。]]></description><category></category></item><item><title><![CDATA[导数、偏导数、梯度、方向导数、梯度下降、二阶导数、二阶方向导数]]></title><link>https://blog.youkuaiyun.com/qq_32103261/article/details/122347105</link><guid>https://blog.youkuaiyun.com/qq_32103261/article/details/122347105</guid><author>qq_32103261</author><pubDate>Fri, 07 Jan 2022 18:40:17 +0800</pubDate><description><![CDATA[导数：函数（因变量对应实数值）

偏导数：函数（因变量对应实数值）

梯度：向量（向量的每一维对应偏导数）

方向导数：函数（因变量对应实数值）

梯度下降：一种优化方法

二阶导数：函数（因变量对应实数值）

二阶方向导数：函数（因变量对应实数值）]]></description><category></category></item><item><title><![CDATA[隐马尔可夫模型（HMM）]]></title><link>https://blog.youkuaiyun.com/qq_32103261/article/details/121049478</link><guid>https://blog.youkuaiyun.com/qq_32103261/article/details/121049478</guid><author>qq_32103261</author><pubDate>Sat, 30 Oct 2021 13:39:51 +0800</pubDate><description><![CDATA[本文不是HMM的详细推导文章，是对HMM的一个小总结。详细的推导可参考李航统计学习方法第10章。本文目录如下：



隐马尔可夫模型简介

HMM可用于标注问题。隐马尔可夫模型是关于时序的概率模型，由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测从而产生观测随机序列。隐藏的马尔可夫链随机生成的状态的序列，称为状态序列；每个状态生成一个观测，而由此产生的观测的随机序列，称为观测序列。序列的每个位置可以看作是一个时刻。

隐马尔可夫模型两个特点：1、引入了隐状态；2、是时序的。

]]></description><category></category></item><item><title><![CDATA[潜在狄利克雷分配（LDA）（latent Dirichlet allocation）]]></title><link>https://blog.youkuaiyun.com/qq_32103261/article/details/120679974</link><guid>https://blog.youkuaiyun.com/qq_32103261/article/details/120679974</guid><author>qq_32103261</author><pubDate>Mon, 25 Oct 2021 15:57:55 +0800</pubDate><description><![CDATA[多项分布：

假设重复进行 次独立随机试验，每次实验可能出现的结果有 种，第种结果出现的次数为，第种 结果出现的概率为。如果用随机变量 表示实验所有可能出现结果的次数，其中表示第种结果出现的次数，那么随机变量服从多项分布。具体的数学定义如下：

若多元离散随机变量的概率质量函数为 ：



其中，，。

则称随机变量服从参数为 的多项分布，计做。

多项分布的两个特例，二项分布和类别分布

多项分布有两个特例，一个是二项分布，一个是类别分布。

二项分布：当实验可...]]></description><category></category></item><item><title><![CDATA[pLSA参数估计的EM算法推导]]></title><link>https://blog.youkuaiyun.com/qq_32103261/article/details/120910246</link><guid>https://blog.youkuaiyun.com/qq_32103261/article/details/120910246</guid><author>qq_32103261</author><pubDate>Sat, 23 Oct 2021 22:04:20 +0800</pubDate><description><![CDATA[pLSA 可参考概率潜在语义分析（PLSA）（probabilistic latent semantic analysis）

EM算法可参考​​​​​​EM（期望最大）算法推导以及实例计算

拉格朗日乘子法可参考如何理解拉格朗日乘子法？

好啦，下面开始做一个简单的推导。

首先我们先回顾一个 pLSA，以生成模型为例。

生成模型假设在话题给定条件下，单词和文本条件独立，即：



设单词集合为，文本集合为，话题集合为。给定单词-文本共现数据,,。为单词在文本中...]]></description><category></category></item><item><title><![CDATA[EM（期望最大）算法推导以及实例计算]]></title><link>https://blog.youkuaiyun.com/qq_32103261/article/details/120809025</link><guid>https://blog.youkuaiyun.com/qq_32103261/article/details/120809025</guid><author>qq_32103261</author><pubDate>Thu, 21 Oct 2021 15:44:03 +0800</pubDate><description><![CDATA[EM算法是一种优化算法。它应用的场景是含有隐变量的概率模型的极大似然估计或极大后验概率估计，它是极大似然估计或极大后验概率估计的具体实现方法。这篇文章我们仅讨论极大似然估计，极大后验概率估计与其类似。



1、含有隐变量的概率模型

隐：观测不到。

我们以三硬币模型为例。

假设有3枚硬币，分别记做，，。这些硬币正面出现的概率分别是，，。进行如下掷硬币实验：先掷硬币，根据其结果选出硬币或硬币；然后掷选出的硬币，出现正面记做1，出现反面记做0；独立重复次实验，假设观测结果如下：1，1，...]]></description><category></category></item><item><title><![CDATA[极大似然估计、贝叶斯估计、极大后验概率估计]]></title><link>https://blog.youkuaiyun.com/qq_32103261/article/details/120767579</link><guid>https://blog.youkuaiyun.com/qq_32103261/article/details/120767579</guid><author>qq_32103261</author><pubDate>Sun, 17 Oct 2021 00:29:05 +0800</pubDate><description><![CDATA[在概率论里，经常能听到极大似然估计和贝叶斯估计这两个词，今天打算好好理解一下。

首先我问了自己两个问题。

1、‘极大似然估计’ 、‘贝叶斯估计’ 和 '极大后验概率估计'，这三个词里，都有 ‘估计‘ 两字 ，听起来像是用来估计某个我们不知道的未知的东西，那么是用来估计啥呢？

2、‘极大似然’ 和 ‘贝叶斯’ 到底有什么不同呢？

首先可以回答第一个问题，这两方法用来估计未知的 ‘概率分布的参数’。

对于第二个问题，极大似然估计和贝叶斯估计是概率论中两大派的产物，分别是频率学派和贝叶斯学派。


..]]></description><category></category></item><item><title><![CDATA[Jensen不等式证明]]></title><link>https://blog.youkuaiyun.com/qq_32103261/article/details/120754689</link><guid>https://blog.youkuaiyun.com/qq_32103261/article/details/120754689</guid><author>qq_32103261</author><pubDate>Thu, 14 Oct 2021 15:54:28 +0800</pubDate><description><![CDATA[凸函数（Convex Functions）

凸函数的定义1如下：



如下图所示：严格凸函数：函数曲线位于由点和连接而成的直线下方。

凸函数：函数曲线不超过由点和连接而成的直线。



定理1：如果某函数在某个区间二阶可导且二阶导数非负，那么这个函数在该区间是凸的。



其中 twice differentiable 指的是二阶可导。

关于这个定理的证明如下：





推论1：-ln(x) 在 (0,∞) 上是严格凸函数。



证明如下：



其中的 Definition 2是凹...]]></description><category></category></item><item><title><![CDATA[概率潜在语义分析（PLSA）（probabilistic latent semantic analysis）]]></title><link>https://blog.youkuaiyun.com/qq_32103261/article/details/120627606</link><guid>https://blog.youkuaiyun.com/qq_32103261/article/details/120627606</guid><author>qq_32103261</author><pubDate>Thu, 07 Oct 2021 17:22:12 +0800</pubDate><description><![CDATA[概率潜在语义分析，听名字里边的‘概率’一词，就知道这和一般的统计（频数统计/tfidf 统计）不一样。我们知道LSA是对单词-文本矩阵（频数或tfidf组成的矩阵）进行奇异值分解，LSA的最重要的中心思想就是引入话题维度，将一个文本的单词向量降维转化为话题向量，一是解决了稀疏矩阵中很多 0 值带来的计算文本相似度不准确的问题，二是解决了单词的多词一义性和一词多义性的问题。LSA可以参考之前写过的一篇 ：潜在语义分析（LSA）（latent semantic analysis）

那LSA的缺点是什么？在P.]]></description><category></category></item><item><title><![CDATA[奇异值分解SVD、PCA主成分分析降维、潜在语义分析LSA之间的关系]]></title><link>https://blog.youkuaiyun.com/qq_32103261/article/details/120612008</link><guid>https://blog.youkuaiyun.com/qq_32103261/article/details/120612008</guid><author>qq_32103261</author><pubDate>Tue, 05 Oct 2021 17:18:25 +0800</pubDate><description><![CDATA[奇异值分解SVD是一种矩阵分解也是数据压缩的方法，是在 Frobenius norm （也就是平方损失）意义下的对矩阵的最优近似。具体可以参考奇异值分解（SVD）（Singular Value Decomposition）

完全奇异值分解如下：

一般矩阵的完全奇异值分解如下：



紧奇异值分解如下：

若一般矩阵，其秩为 rank() = r ， r &lt;=min(m,n)，那么的紧奇异值分解就是：



这里的就是将 原来的的前 r 行前 r 列，其是的前 r 列，其...]]></description><category></category></item><item><title><![CDATA[潜在语义分析（LSA）（latent semantic analysis）]]></title><link>https://blog.youkuaiyun.com/qq_32103261/article/details/120601196</link><guid>https://blog.youkuaiyun.com/qq_32103261/article/details/120601196</guid><author>qq_32103261</author><pubDate>Mon, 04 Oct 2021 15:36:38 +0800</pubDate><description><![CDATA[本文参考李航统计学习方法第17章 潜在语义分析～

文本信息处理的一个核心问题是对文本内容进行数字表示，并进行文本之间的语义相似度的计算。

传统的方法以单词向量表示文本的语义内容，以单词向量空间的度量（内积或标准化内积）表示文本之间的语义相似度。

潜在语义分析试图发现潜在的话题，以话题向量表示文本的语义内容，以话题向量空间的度量（内积或标准化内积）表示文本之间的语义相似度。

单词向量空间

给定一个文本，用一个向量表示该文本的 ‘语义’ ，向量的每一维对应一个单词，其数值为该单词在该文本中出现的频数或]]></description><category></category></item><item><title><![CDATA[主成分分析（PCA）（principal component analysis）]]></title><link>https://blog.youkuaiyun.com/qq_32103261/article/details/120592736</link><guid>https://blog.youkuaiyun.com/qq_32103261/article/details/120592736</guid><author>qq_32103261</author><pubDate>Sun, 03 Oct 2021 17:12:13 +0800</pubDate><description><![CDATA[本文主要讲PCA的相关数学推导。PCA的数学推导用线性代数的知识就可以完成。

参考deeplearningbook.org一书2.12 Example: Principal Components Analysis

我们先讲两个用到的线性代数知识点：

用到的知识点

1、矩阵对角线元素之和（the trace operator）

矩阵对角线元素之和（the trace operator）,记做 Tr ，定义如下：



它有如下的性质：

1一个矩阵的trace等于它的转置的trace



2循环.]]></description><category></category></item><item><title><![CDATA[奇异值分解（SVD）（Singular Value Decomposition）]]></title><link>https://blog.youkuaiyun.com/qq_32103261/article/details/120557726</link><guid>https://blog.youkuaiyun.com/qq_32103261/article/details/120557726</guid><author>qq_32103261</author><pubDate>Fri, 01 Oct 2021 20:16:19 +0800</pubDate><description><![CDATA[奇异值分解在机器学习中经常碰到，今天详细讲讲。本文章中说的"矩阵" / "向量" 都指的是实数矩阵/实数向量，我们只说实数域内的情况。

整数有质因子分解，比如12=2*2*3。分解成2*2*3后，比单单研究12这个数，我们会容易得到一些信息，比如，12这个数不能整除5；一个数 n 乘12后，会整除 2 和 3；等等。

那么矩阵呢，我们是否可以对矩阵进行分解以获取一些有用的信息呢？答案是任何一个矩阵都可以进行奇异值分解。

我们在说奇异值分解之前，需要先说说特征值分解。

特征分解（Eigendecom.]]></description><category></category></item><item><title><![CDATA[Word2vec 论文推荐]]></title><link>https://blog.youkuaiyun.com/qq_32103261/article/details/120509530</link><guid>https://blog.youkuaiyun.com/qq_32103261/article/details/120509530</guid><author>qq_32103261</author><pubDate>Mon, 27 Sep 2021 15:22:01 +0800</pubDate><description><![CDATA[word2vec 相关原理以及推导，推荐下边论文：

(PDF) word2vec Parameter Learning Explained

下载PDF版 看 就好了！
]]></description><category></category></item><item><title><![CDATA[（二）RNN 的 反向传播算法详细推导]]></title><link>https://blog.youkuaiyun.com/qq_32103261/article/details/120493317</link><guid>https://blog.youkuaiyun.com/qq_32103261/article/details/120493317</guid><author>qq_32103261</author><pubDate>Mon, 27 Sep 2021 14:01:23 +0800</pubDate><description><![CDATA[在反向传播算法理解一文中，大体讲了反向传播算法的大体思想和优势，这篇文章拿最简单的RNN网络推导反向传播算法。

计算图和计算公式

我们拿最具代表性的如下RNN网络图简单推导。



上图是一张计算图。为方便公式推导，我们把公式写出来。对于每一步 t ，都是如下的计算过程。



每一步的损失函数，总的损失函数 L 如下：



在每一步 t 中，是向量形式变量，是向量形式变量，是向量形式变量，是向量形式变量，是向量形式变量；W 是矩阵形式变量，V 是矩阵形式变量，U 是矩阵形式变量（注...]]></description><category></category></item><item><title><![CDATA[（一）反向传播算法理解 （Back-Propagation）]]></title><link>https://blog.youkuaiyun.com/qq_32103261/article/details/120285686</link><guid>https://blog.youkuaiyun.com/qq_32103261/article/details/120285686</guid><author>qq_32103261</author><pubDate>Thu, 16 Sep 2021 15:14:32 +0800</pubDate><description><![CDATA[本文参考deeplearningbook.org一书第六章 6.5 Back-Propagation and Other Diﬀerentiation

Algorithms

首先明确反向传播算法用来做什么：求梯度。

一、前向传播 foward propagation

“反向传播算法”，其中反向 两个字顾名思义，先有一个前向的过程，才有反向一说。所以要搞懂反向传播之前，需先把前向传播弄清楚。简易地画了一个流程图如下：（图中的LOSS是一个实数值）。



上图中，前向传播路径是从输入到LOSS...]]></description><category></category></item><item><title><![CDATA[xgboost 实现多分类问题demo以及原理]]></title><link>https://blog.youkuaiyun.com/qq_32103261/article/details/116748189</link><guid>https://blog.youkuaiyun.com/qq_32103261/article/details/116748189</guid><author>qq_32103261</author><pubDate>Thu, 13 May 2021 14:46:08 +0800</pubDate><description><![CDATA[本文先把xgboost支持的多分类问题的demo写起来，打印出生成的树结构，然后理解xgboost实现多分类问题的原理。这个顺序比较好理解一些。

xgboost 多分类问题 demo

这个demo从xgboost的源代码中就可以看到。在/demo/multiclass_classification/train.py。py文件里的数据（dermatology.data）可以在https://archive.ics.uci.edu/ml/machine-learning-databases/dermat..]]></description><category></category></item></channel></rss>