RosebudTT的博客

相比RNN只有一个传递状态 ，LSTM有两个传输状态，一个 cell state，和一个 hidden state。（Tips：RNN中的 h对于LSTM中的c ）首先使用LSTM的当前输入 和上一个状态传递下来的 拼接训练得到四个状态。 LSTM内部主要有三个阶段： 1. 忘记阶段。这个阶段主要是对上一个节点传进来的输入进行选择性忘记。简单来说就是会 “忘记不重要的，记住重要的”。 具体来说是通过计算得到的 （f表示forget）来作为忘记门控，来控制上一个状态的 哪些需要留...

隐马尔可夫模型是关于时序的概率模型 组成：初始概率分布，状态转移概率分布，观测概率分布 Q：所有可能状态的集合，V：所有可能观测的集合，I: 长度为T的状态序列，O：对应的观测序列 A：状态转移概率矩阵，B：观测概率矩阵，三要素 1.概率计算问题 2.学习问题 3.近似问题 ...

AdaBoost的起源和基本概念 adaptive boosting •在概率近似正确（probably approximately correct, PAC)学习的框架中，一个概念（类），如果存在一个多项式的学习算法能够学习它，并且正确率很高，称这个概念是强可学习的； •一个概念（类），如果存在一个多项式的学习算法能够学习它，学习的正确率仅比随机猜测略好，则称这个概念是弱可学习的。 •在PAC学习的框架下，一个概念是强可学习的充分必要条件是这个概念是弱可学习。 •只要找到一个比随机猜测略好的弱学

5.21

无监督学习的基本想法是对给定数据（矩阵数据）进行某种“压缩”，从而找到数 据的潜在结构。假定损失最小的压缩得到的结果就是最本质的结构。 •考虑发掘数据的纵向结构，把相似的样本聚到同类，即对数据进行聚类 •考虑发掘数据的横向结构，把高维空间的向量转换为低维空间的向量，即对数据进行降维。 •同时考虑发掘数据的纵向与横向结构，假设数据由含有隐式结构的概率模型生成得到，从数据中学习该概率模型。 概率模型表示为条件概率分布 无监督模型三要素： •模型 •函数 ，条件概率分布，或条件概...

5.22

自动编码机（简称自编码器）是前馈非循环神经网络，是一种无监督机器学习方法，具有非常好的提取数据特征表示的能力，它是深层置信网络的重要组成部分，在图像重构、聚类、机器翻译等方面有着广泛的应用。自动编码机的一个非常好的应用是降维，也可用于特征提取、文档检索、分类和异常检测。 自动编码机的目标是重构一样的输入，其神经元的状态是确定性的 可以将自动编码机看作由两个级联网络组成，第一个网络是一个编码器，负责接收输入 x，并将输入通过函数 h 变换为信号 y，第二个网络将编码的信号 y 作为其输入，通过函数f得到重

请