<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[lgy54321的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/lgy54321</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; lgy54321]]></copyright><item><title><![CDATA[LSTM与BI-LSTM]]></title><link>https://blog.youkuaiyun.com/lgy54321/article/details/99936770</link><guid>https://blog.youkuaiyun.com/lgy54321/article/details/99936770</guid><author>lgy54321</author><pubDate>Wed, 21 Aug 2019 10:16:58 +0800</pubDate><description><![CDATA[文章目录从RNN到LSTMLSTM模型结构剖析LSTM之遗忘门LSTM之输入门LSTM之细胞状态更新LSTM之输出门LSTM前向传播算法LSTM反向传播算法推导关键点
从RNN到LSTM
在RNN模型里，我们讲到了RNN具有如下的结构，每个序列索引位置t都有一个隐藏状态h(t)。
　　　　如果我们略去每层都有的o(t),L(t),y(t)o^{(t)}, L^{(t)}, y^{(t)}o(t),...]]></description><category></category></item><item><title><![CDATA[RNN(循环神经网络)]]></title><link>https://blog.youkuaiyun.com/lgy54321/article/details/99844954</link><guid>https://blog.youkuaiyun.com/lgy54321/article/details/99844954</guid><author>lgy54321</author><pubDate>Tue, 20 Aug 2019 15:00:39 +0800</pubDate><description><![CDATA[文章目录RNN概述RNN模型RNN前向传播算法RNN反向传播算法推导RNN小结
DNN的特例CNN的模型和前向反向传播算法，这些算法都是前向反馈的，模型的输出和模型本身没有关联关系。今天我们就讨论另一类输出和模型间有反馈的神经网络：循环神经网络(Recurrent Neural Networks ，以下简称RNN)，它广泛的用于自然语言处理中的语音识别，手写书别以及机器翻译等领域。
RNN概述
在...]]></description><category></category></item><item><title><![CDATA[DNN]]></title><link>https://blog.youkuaiyun.com/lgy54321/article/details/99712395</link><guid>https://blog.youkuaiyun.com/lgy54321/article/details/99712395</guid><author>lgy54321</author><pubDate>Mon, 19 Aug 2019 16:55:11 +0800</pubDate><description><![CDATA[文章目录前向传播从感知机到神经网络DNN的基本结构DNN前向传播算法数学原理DNN前向传播算法反向传播算法(BP)DNN反向传播算法要解决的问题DNN反向传播算法的基本思路DNN反向传播算法过程损失函数和激活函数的选择均方差损失函数+Sigmoid激活函数的问题使用交叉熵损失函数+Sigmoid激活函数改进DNN算法收敛速度使用对数似然损失函数和softmax激活函数进行DNN分类输出
前向传播
...]]></description><category></category></item><item><title><![CDATA[LSA、PSLA、LDA和lda2vec进行主题建模]]></title><link>https://blog.youkuaiyun.com/lgy54321/article/details/99698033</link><guid>https://blog.youkuaiyun.com/lgy54321/article/details/99698033</guid><author>lgy54321</author><pubDate>Sun, 18 Aug 2019 21:10:30 +0800</pubDate><description><![CDATA[文章目录概述LSA代码实现PLSA
在自然语言理解任务中，我们可以通过一系列的层次来提取含义——从单词、句子、段落，再到文档。在文档层面，理解文本最有效的方式之一就是分析其主题。在文档集合中学习、识别和提取这些主题的过程被称为主题建模。
概述
所有主题模型都基于相同的基本假设：

每个文档包含多个主题；
每个主题包含多个单词。

换句话说，主题模型围绕着以下观点构建：实际上，文档的语义由一些我们所...]]></description><category></category></item><item><title><![CDATA[条件随机场]]></title><link>https://blog.youkuaiyun.com/lgy54321/article/details/98247691</link><guid>https://blog.youkuaiyun.com/lgy54321/article/details/98247691</guid><author>lgy54321</author><pubDate>Sat, 03 Aug 2019 09:47:37 +0800</pubDate><description><![CDATA[文章目录概率无向图模型模型定义概率无向图模型:概率无向图模型的因子分解条件随机场的模型表示linear-chain 条件随机场CRF 的定义CRF 的参数化形式CRF 的简化形式条件随机场的矩阵形式条件随机场的概率计算问题前向-后向算法概率计算期望值的计算条件随机场的训练L-BFGS算法条件随机场的预测算法
条件随机场（conditional random field，以下简称CRF） 是给定一组...]]></description><category></category></item><item><title><![CDATA[十大排序算法（python）]]></title><link>https://blog.youkuaiyun.com/lgy54321/article/details/96993816</link><guid>https://blog.youkuaiyun.com/lgy54321/article/details/96993816</guid><author>lgy54321</author><pubDate>Thu, 25 Jul 2019 16:14:37 +0800</pubDate><description><![CDATA[文章目录十大排序算法排序算法介绍非线性时间比较类排序：线性时间非比较类排序：相关概念交换排序1冒泡排序（Bubble Sort）2 快速排序(Quick Sort)插入排序3 简单插入排序(Insert Sort)4希尔排序(Shell Sort)选择排序5.简单选择排序(Select Sort)
十大排序算法
排序算法介绍
非线性时间比较类排序：
通过比较来决定元素间的相对次序，由于其时间复杂度...]]></description><category></category></item><item><title><![CDATA[上传项目到GitHub]]></title><link>https://blog.youkuaiyun.com/lgy54321/article/details/97164521</link><guid>https://blog.youkuaiyun.com/lgy54321/article/details/97164521</guid><author>lgy54321</author><pubDate>Wed, 24 Jul 2019 20:35:36 +0800</pubDate><description><![CDATA[https://blog.youkuaiyun.com/Lucky_LXG/article/details/77849212

]]></description><category></category></item><item><title><![CDATA[卷积神经网络]]></title><link>https://blog.youkuaiyun.com/lgy54321/article/details/96899454</link><guid>https://blog.youkuaiyun.com/lgy54321/article/details/96899454</guid><author>lgy54321</author><pubDate>Tue, 23 Jul 2019 08:05:25 +0800</pubDate><description><![CDATA[文章目录卷积神经网络卷积层卷积参数共享原则池化层卷积神经网络的组成
卷积神经网络
卷积神经网络（Convolutional Neural Network，CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。 它包括卷积层(convolutional layer)和池化层(pooling layer)。
对比：卷积神经网络、全连接神经网络

左图...]]></description><category></category></item><item><title><![CDATA[常用的查找算法(python)]]></title><link>https://blog.youkuaiyun.com/lgy54321/article/details/96863092</link><guid>https://blog.youkuaiyun.com/lgy54321/article/details/96863092</guid><author>lgy54321</author><pubDate>Mon, 22 Jul 2019 16:34:40 +0800</pubDate><description><![CDATA[文章目录基本概念无序表查找有序表查找线性索引查找稠密索引分块索引倒排索引五、二叉排序树平衡二叉树散列表（哈希表）散列函数的构造方法处理散列冲突散列表查找性能分析
基本概念
查找（Searching）就是根据给定的某个值，在查找表中确定一个其关键字等于给定值的数据元素（或记录）。
查找表（Search Table）：由同一类型的数据元素（或记录）构成的集合
关键字（Key）：数据元素中某个数据项的值...]]></description><category></category></item><item><title><![CDATA[Attention is all you need(Transform)]]></title><link>https://blog.youkuaiyun.com/lgy54321/article/details/96756450</link><guid>https://blog.youkuaiyun.com/lgy54321/article/details/96756450</guid><author>lgy54321</author><pubDate>Sun, 21 Jul 2019 21:32:09 +0800</pubDate><description><![CDATA[文章目录从宏观看Transformer将张量引入图景现在我们开始“编码”从宏观视角看自注意力机制从微观视角看自注意力机制什么是查询向量、键向量和值向量向量？通过矩阵运算实现自注意力机制“大战多头怪”使用位置编码表示序列的顺序残差模块解码组件最终的线性变换和Softmax层训练部分总结损失函数
从宏观看Transformer
首先将这个模型当成一个黑箱操作。在机器翻译中，就是输入一种语言，输出另一种...]]></description><category></category></item><item><title><![CDATA[pytorch-1]]></title><link>https://blog.youkuaiyun.com/lgy54321/article/details/96484802</link><guid>https://blog.youkuaiyun.com/lgy54321/article/details/96484802</guid><author>lgy54321</author><pubDate>Fri, 19 Jul 2019 19:54:32 +0800</pubDate><description><![CDATA[文章目录Tensor
Tensor
import torch
#生成一个矩阵
a=torch.Tensor([[1,2],[3,4],[5,6],[7,8]])
print(a)
print('{}'.format(a))
print('{}'.format(a.size()))
#生成一个全为0的矩阵
b=torch.zeros((4,2))
print(b)
#生成不同类型的矩阵
c=torc...]]></description><category></category></item><item><title><![CDATA[隐马尔科夫模型HMM（四）维特比算法解码隐藏状态序列]]></title><link>https://blog.youkuaiyun.com/lgy54321/article/details/95529459</link><guid>https://blog.youkuaiyun.com/lgy54321/article/details/95529459</guid><author>lgy54321</author><pubDate>Thu, 11 Jul 2019 22:39:30 +0800</pubDate><description><![CDATA[HMM最可能隐藏状态序列求解概述
在HMM模型的解码问题中，给定模型λ=(A,B,Π)和观测序列O={o1,o2,...oT}O =\{o_1,o_2,...o_T\}O={o1​,o2​,...oT​}，求给定观测序列O条件下，最可能出现的对应的状态序列I∗={i1∗,i2∗,...iT∗}I^*= \{i_1^*,i_2^*,...i_T^*\}I∗={i1∗​,i2∗​,...iT∗​},即...]]></description><category></category></item><item><title><![CDATA[隐马尔科夫模型HMM（三）鲍姆-韦尔奇算法求解HMM参数]]></title><link>https://blog.youkuaiyun.com/lgy54321/article/details/95396494</link><guid>https://blog.youkuaiyun.com/lgy54321/article/details/95396494</guid><author>lgy54321</author><pubDate>Thu, 11 Jul 2019 22:11:00 +0800</pubDate><description><![CDATA[文章目录HMM模型参数求解概述鲍姆-韦尔奇算法的推导鲍姆-韦尔奇算法流程总结
HMM模型参数求解概述
HMM模型参数求解根据已知的条件可以分为两种情况。
第一种情况较为简单，就是我们已知D个长度为T的观测序列和对应的隐藏状态序列，即{(O1,I1),(O2,I2),...(OD,ID)}\{(O_1, I_1), (O_2, I_2), ...(O_D, I_D)\}{(O1​,I1​),(O2​...]]></description><category></category></item><item><title><![CDATA[图：定义与存储]]></title><link>https://blog.youkuaiyun.com/lgy54321/article/details/95484874</link><guid>https://blog.youkuaiyun.com/lgy54321/article/details/95484874</guid><author>lgy54321</author><pubDate>Thu, 11 Jul 2019 20:53:10 +0800</pubDate><description><![CDATA[文章目录图的定义与基本术语图Graph的定义ADT图的存储结构
图的定义与基本术语
图Graph的定义
图是一种网状数据结构，形式化定义如下：

集合DataObject中的所有元素具有相同的特性，V中数据元素常称为顶点(vertex)，VR是两个顶点之间关系的集合，P(x,y)表示x和y之间有特定的关联属性P。
若&lt;x,y&gt;∈R &lt;x,y&gt;，则 &lt;x,y&gt;表示...]]></description><category></category></item><item><title><![CDATA[隐马尔科夫模型HMM（二）前向后向算法评估观察序列概率]]></title><link>https://blog.youkuaiyun.com/lgy54321/article/details/95389230</link><guid>https://blog.youkuaiyun.com/lgy54321/article/details/95389230</guid><author>lgy54321</author><pubDate>Wed, 10 Jul 2019 23:30:10 +0800</pubDate><description><![CDATA[文章目录HMM问题一：求观测序列的概率暴力求解用前向算法求HMM观测序列的概率前向算法。HMM前向算法求解实例
HMM问题一：求观测序列的概率
首先我们回顾下HMM模型的问题一。这个问题是这样的。我们已知HMM模型的参数λ=(A,B,Π)\lambda = (A, B, \Pi)λ=(A,B,Π)。其中A是隐藏状态转移概率的矩阵，B是观测状态生成概率的矩阵， Π是隐藏状态的初始概率分布。同时我们也...]]></description><category></category></item><item><title><![CDATA[隐马尔科夫模型HMM（一）HMM模型]]></title><link>https://blog.youkuaiyun.com/lgy54321/article/details/95385484</link><guid>https://blog.youkuaiyun.com/lgy54321/article/details/95385484</guid><author>lgy54321</author><pubDate>Wed, 10 Jul 2019 22:21:11 +0800</pubDate><description><![CDATA[什么样的问题需要HMM模型
首先我们来看看什么样的问题解决可以用HMM模型。使用HMM模型时我们的问题一般有这两个特征：１）我们的问题是基于序列的，比如时间序列，或者状态序列。２）我们的问题中有两类数据，一类序列数据是可以观测到的，即观测序列；而另一类数据是不能观察到的，即隐藏状态序列，简称状态序列。
有了这两个特征，那么这个问题一般可以用HMM模型来尝试解决。这样的问题在实际生活中是很多的。比如...]]></description><category></category></item><item><title><![CDATA[判别式与生成式模型]]></title><link>https://blog.youkuaiyun.com/lgy54321/article/details/95384741</link><guid>https://blog.youkuaiyun.com/lgy54321/article/details/95384741</guid><author>lgy54321</author><pubDate>Wed, 10 Jul 2019 21:48:19 +0800</pubDate><description><![CDATA[有监督学习回归模型中，我们利用训练集直接对条件概率p(y|x;θ)建模，例如logistic回归就利用hθ(x) = g(θTx)对p(y|x;θ)建模（其中g(z)是sigmoid函数）。
假设现在有一个分类问题，要根据一些动物的特征来区分大象(y = 1)和狗(y = 0)。给定这样的一种数据集，回归模型比如logistic回归会试图找到一条直线也就是决策边界，来区分大象与狗这两类，然后对于新...]]></description><category></category></item><item><title><![CDATA[概率图模型]]></title><link>https://blog.youkuaiyun.com/lgy54321/article/details/95369187</link><guid>https://blog.youkuaiyun.com/lgy54321/article/details/95369187</guid><author>lgy54321</author><pubDate>Wed, 10 Jul 2019 21:27:01 +0800</pubDate><description><![CDATA[文章目录概率图有向图 vs. 无向图有向图条件局部独立性无向图
概率图

在概率图模型中，数据(样本)由公式 G=(V,E) 建模表示：

V 表示节点，即随机变量（放在此处的，可以是一个token或者一个label），具体地，用 为随机变量建模，注意 Y 现在是代表了一批随机变量（想象对应一条sequence，包含了很多的token）， P(Y) 为这些随机变量的分布；
E 表示边，即概率依赖关...]]></description><category></category></item><item><title><![CDATA[Python可迭代对象中的添加和删除（add，append,pop,remove,insert）]]></title><link>https://blog.youkuaiyun.com/lgy54321/article/details/95329686</link><guid>https://blog.youkuaiyun.com/lgy54321/article/details/95329686</guid><author>lgy54321</author><pubDate>Wed, 10 Jul 2019 13:44:55 +0800</pubDate><description><![CDATA[文章目录List:dict:set：tuple:
List:
classmates = ['Michael', 'Bob', 'Tracy']
classmates.append('Adam')    //添加在末尾，没有add()方法
classmates.insert(1, 'Jack') //在指定位置添加
classmates.pop(1)            //在知道位置删除，参数是...]]></description><category></category></item><item><title><![CDATA[数据平滑]]></title><link>https://blog.youkuaiyun.com/lgy54321/article/details/95315695</link><guid>https://blog.youkuaiyun.com/lgy54321/article/details/95315695</guid><author>lgy54321</author><pubDate>Wed, 10 Jul 2019 11:17:01 +0800</pubDate><description><![CDATA[文章目录数据预处理Add-one (Laplace) smoothingAdd-k smoothingBackoff回退法Interpolation插值法(Jelinek-Mere)Absolute discountingKneser-Ney smoothingModified Kneser-ney smoothing总结
在自然语言处理中，经常要计算单词序列（句子）出现的概率估计。但是，算法训练...]]></description><category></category></item></channel></rss>