minjialong的博客

    梯度在机器学习和深度学习中是一个高频词汇，弄懂梯度的概念对梯度下降，反向传播的理解有很大帮助。这里我根据个人理解，对梯度的反方向是函数下降最快的方向这一观点进行解释。限于作者水平，难免有错误之处，欢迎批评指正。 ...

梯度下降法     在机器学习中我们常用梯度下降法（或其改进的方法）对算法进行训练，一般分为三步：确定初始参数，前向传播获取误差，反向传播获取梯度，根据梯度更新参数。这里首先做出几个假定：     训练样本集为(x(i),y(i))(x^{(i)}, y^{(i)})(x(i),y(i))，iii为样本编号；     目标函数为：hθ(x(j))=∑j=0nθjxjh_{\theta}(x^{(j...

    在机器学习中，数据预处理极为重要，好的数据预处理往往比模型更为关键，数据预处理中降维是相当重要的一个环节。常见的降维方法有很多种，如：SVD奇异值分解法，PCA主成分分析法等，这里主要针对PCA谈谈自己的看法。 PCA概念     PCA的思想是将数据从原来的坐标系转换到新的坐标系中，新的坐标系的选择与数据本身相关。第一个新的坐标轴是原始数据中方差最大的方向，第二个新的坐标轴是与第一个坐标...

马尔科夫链     马尔可夫链是一组具有马尔可夫性质的离散随机变量的集合。具体地，随机变量集合 X={Xn:n>0}\bold X=\{X_n:n>0\}X={Xn​:n>0}，若随机变量的取值都在数据集内 Xn=si,si∈sX_n =s_i, s_i \in \bold sXn​=si​,si​∈s ，且随机变量的条件概率满足如下关系：p(Xt+1∣Xt,X...

    在前一篇博客中，讨论了隐马尔可夫模型的原理，三个问题，以及每个问题的解决方案和对应的算法推导。在本文中，就利用HMM中的预测问题来实现汉语分词。     对于一段话，对里边的词（可以是单个字，也可以是多个字）进行标注，标注的类型分为4中，分别为：Begin（开头）、End（结尾）、Middle（中间）、Single（单独）。因此我们需要有一个已经分好词的训练数据，训练数据据 2. ...

    如上图所示，无向图的联合概率可以表示为： (1)P(Y)=1Z∏cψ(Yc)P(Y) = \frac{1}{Z}\prod_c\psi(Y_{c}) \tag{1}P(Y)=Z1​c∏​ψ(Yc​)(1) 其中: ccc是最大团； YcY_cYc​是最大团c中包含的变量； ψ(Yc)\psi(Y_c)ψ(Yc​)是最大团ccc的联合概率，ψ(Yc)=e−E(Yc)\psi(Y_c)=...