GerHard 的博客

动态时间规整（DTW）  Dynamic Time Warping（DTW）诞生有一定的历史了（日本学者Itakura提出），它出现的目的也比较单纯，是一种衡量两个长度不同的时间序列的相似度的方法。应用也比较广，主要是在模板匹配中，比如说用在孤立词语音识别（识别两段语音是否表示同一个单词），手势识别，数据挖掘和信息检索等中。一、概述  在大部分的学科中，时间序列是数据的一种常见表示...

· 传统GBDT以CART作为基分类器，xgboost还支持线性分类器· xgboost工具支持自定义代价函数，只要函数可一阶和二阶求导· 传统GBDT在优化时只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。（详解见后面）· xgboost在代价函数里加入了正则项，用于控制模型的复杂度。· Shrinkage（缩减），相当于学习速率（xg...

L1 L2 正则化 是什么ℓ1 -norm和 ℓ2-norm，中文称作 L1正则化 和 L2正则化，或者 L1范数 和 L2范数。 L1正则化和L2正则化可以看做是损失函数的惩罚项。 所谓的 “惩罚” 是指对损失函数中的某些参数做一些限制。 对于线性回归模型，使用L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归）。如图，加号后面的分别是 L...

注意力机制即 Attention mechanism在序列学习任务上具有巨大的提升作用，在编解码器框架内，通过在编码段加入Attention模型，对源数据序列进行数据加权变换，或者在解码端引入Attention 模型，对目标数据进行加权变化，可以有效提高序列对序列的自然方式下的系统表现。Attention：Attention模型的基本表述可以这样理解成： 当我们人在看一样东西的时候，...

【这篇重点在分析一下改变了的网络模型，其他的写的并不全面】1、《Deep Learning Approach for Sentiment Analysis of Short Texts》learning long-term dependencies with gradient descent is difcult in neural network language model bec...

近年来，一些新的研究方法，如蚁群算法、人工神经网络、细胞自动机、人工免疫算法、进化算法等，它们通过模拟某一自然现象或过程（“拟物”或“仿生”）来求得问题解决的办法，具有高度并行与自组织、自适应和自学习等特征，已经在人工智能、机器学习、数据挖掘等领域中显示出强大的生命力与进一步发展的潜力。在论文 基因表达式编程理论及其监督及其学习模型研究- 张克俊 中 提到： 通过构造独特的适应值函数和交叉验...

http://wiki.jikexueyuan.com/project/tensorflow-zh/tutorials/mnist_beginners.html我们用 MNIST数据集当例子。60000行的训练数据集（mnist.train）10000行的测试数据集（mnist.test） Softmax模型可以用来给不同的对象分配概率。 即使在之后，我们训练更加精细

1 INTRODUCTIONOur second hypothesis was that we can improve TSC performance through ensembling. Although the value of ensembling is well known, our approach is unusual in that we inject diversity

介绍堆叠（也称为元组合）是用于组合来自多个预测模型的信息以生成新模型的模型组合技术。通常，堆叠模型（也称为二级模型）因为它的平滑性和突出每个基本模型在其中执行得最好的能力，并且抹黑其执行不佳的每个基本模型，所以将优于每个单个模型。因此，当基本模型显著不同时，堆叠是最有效的。关于在实践中怎样的堆叠是最常用的，这里我提供一个简单的例子和指导。首先先边看边总结一下这篇博客的内容： 数据比赛大杀

这里先分享两个分享： 一个是用深度学习（CNN RNN Attention）解决大规模文本分类问题 - 综述和实践，另一个是 brightmart 的 text_classification，里面用 Keras 实现了很多文本分类的模型）以及下面的各种分享： 2017 知乎看山杯从入门到第二 知乎看山杯夺冠记 深度学习与文本分类总结第二篇–大规模多标签文本分类 2017知乎看山杯总结

paper： BB_twtr at SemEval-2017 Task 4: Twitter Sentiment Analysis with CNNs and LSTMs

卷积神经网络例子mnist_cnnkeras/tensorflow/caffe

神经网络——一个很好的解释从头开始以及用Python简单实现的神经网络

在普通的全连接网络或CNN中，每层神经元的信号只能向上一层传播，样本的处理在各个时刻独立，因此又被称为前向神经网络 (Feed-forward Neural Networks)。而在RNN中，神经元的输出可以在下一个时间戳直接作用到自身，即第i层神经元在m时刻的输入，除了 (i-1) 层神经元在该时刻的输出外，还包括其自身在 (m-1)时刻的输出！RNN和传统的多层感知机不同的就是和时间沾上边...