幸福驿站

HMM（隐马尔可夫模型）是用来描述隐含未知参数的统计模型 任何一个HMM都可以通过下列五元组来描述：:param obs:观测序列:param states:隐状态:param start_p:初始概率（隐状态）:param trans_p:转移概率（隐状态）:param emit_p: 发射概率 （隐状态表现为显状态的概率）而Viterbi算法是解决隐马第三问题（求观察序列的最可能标注序

CNN之padding：VALID/SAME#参数说明fileter = [filter_height, filter_width, pre_feature_maps, post_feature_maps]input_image = [-1, in_height, in_width, channel]strides = [1, h, w, 1]padding = "VALID"表示卷积过程使...

记录一下，今天终于把这张图经典的CNN+NLP看懂了。参考一下链接，特别是第二个。https://www.cnblogs.com/yelbosh/p/5808706.html http://www.wildml.com/2015/12/implementing-a-cnn-for-text-classification-in-tensorflow/本文主要介绍 宽卷积（Wide Convoluti...

主动学习（Active Learning） 在某些情况下，没有类标签的数据相当丰富而有类标签的数据相当稀少，并且人工对数据进行标记的成本又相当高昂。在这种情况下，我们可以让学习算法主动地提出要对哪些数据进行标注，之后我们要将这些数据送到砖家那里让他们进行标注，再将这些数据加入到训练样本集中对算法进行训练，提高模型的精确度。这一过程叫做主动学习。主动学习那些比较难的，信息量大的样本。而这些样本...

机器学习领域的重要假设：IID独立同分布。即假设训练数据和测试数据是满足相同分布的，它是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。...

Word Embedding 是NLP中一组语言模型（language modeling）和特征学习技术（feature learning techniques）的总称，这些技术会把词汇表中的单词或者短语（words or phrases）映射成由实数构成的向量上。即找到一个映射或者函数，把X所属空间的单词映射为到Y空间的多维向量，生成在一个新的空间上的表达，W：words→Rn是一个参数化函数，...

batch_size是机器学习的一个重要参数，为了在内存效率和内存容量之间寻找最佳平衡。在学习Word_Embedding时，vocabulary_size = 10000, 隐层神经元个数为300，即embedding_size = 300，在做神经网络训练时，考虑到输入数据有10000，若采用全数据集Full Batch Learning，则神经网络训练参数由10000*（10000*300）...

BGD（Batch Gradient Descent）批量梯度下降法是梯度下降法最原始的形式，它的具体思路是在更新每一参数时都使用所有的样本来进行更新。它得到的是一个全局最优解，批量梯度下降法在更新每一个参数时，即每迭代一步，都要用到训练集所有的数据，训练过程会随着样本数量的加大而变得异常的缓慢。优点：全局最优解；易于并行实现；缺点：当样本数目很多时，训练过程会很慢。从迭代的次数上来看，BGD迭代...

马尔可夫决策过程（Markov Decision Processes,MDPs）MDPs 简单说就是一个智能体（Agent）采取行动（Action）从而改变自己的状态（State）获得奖励（Reward）与环境（Environment）发生交互的循环过程。绝大多数的增强学习都可以模型化为MDP的问题。MDP 的策略完全取决于当前状态，这也是它马尔可夫性质的体现，根据当前的状态来决定动作。元组表示为...

Experience replay 经验回放根据论文2017 EMNLP中“Learning how to Active Learn: A Deep Reinforcement Learning Approach”，基于强化学习的主动学习算法。“we use an experience replay memory M to store each transition (s, a, r, s') a...

关于MarkDown公式详细编辑可以参考博客 Initialize replay memory MMM to capacity NNN Initialize action-value function QQQ with random weights for episode = 1,2,...,N1,2,...,N1, 2,...,N do    &nb...