wishchinYang的专栏

设有主串s和子串t，子串t的定位就是要在主串s中找到一个与子串t相等的子串。通常把主串s称为目标串，把子串t称为模式串，因此定位也称作模式匹配。模式匹配成功是指在目标串s中找到一个模式串t；不成功则指目标串s中不存在模式串t。以下算法假设串采用顺序存储结构，即： #define MAXSIZE 50typedef struct { char data

前言：模式识别问题       模式函数是一个从问题定义域到模式值域的一个单射。      从简单的贝叶斯方法，到只能支持二分类的原始支持向量机，到十几个类的分类上最好用的随机森林方法，到可以支持ImageNet上海量1860个类且分类精度极高的InceptionV4（参考：CNNhttp://blog.youkuaiyun.com/wishchin/article/details/45286805），其模式...

语音识别和动作识别（Action、Activities）  等一些时序问题，通过微分方式可以视为模式识别方法中的变长模式识别问题。语音识别的基元为音素、音节，字母和句子模式是在时间轴上的变长序列；Action的基元为Pose，action的识别为pose的时间序列模式。         我们跟随时间的脚步，试图解释现在、理解过去、甚至预测未来........ 在概率分析的层面，RNN通

在AI综合领域，HMM模型是离散贝叶斯网络，最主要用于非确定性（概率）推理。上次的文章被标记为链接，真是有意思。HMM是一个稀疏的贝叶斯网络。其中，维特比算法(Viterbi Algorithm)为一个经典算法，用于找到可能性最大的隐藏序列。即是通常我们都有一个特定的HMM，然后根据一个可观察序列去找到最可能生成这个可观察序列的隐藏序列。

对时序对象进行分析，使用KMP算法可以分析速率不变的模式，参考时序分析：欧式空间轨迹模式识别。对于速率发生变化的模式，需要用新的对速率要求松散的方法，DTW方法为一种广泛使用的方法。古老的DTW方法（Dynamic Time Wrapper）此外，基于模板的方法也有MEI方法（Measured Equation of invariance）、MHI方法（OpenCV使用了-Forward-Backward MHI (before and after the historical figure to the

kmp算法是一个效率非常高的字符串匹配算法。不过由于其难以理解，所以在很长的一段时间内一直没有搞懂。虽然网上有很多资料，但是鲜见好的博客能简单明了地将其讲清楚。在此，综合网上比较好的几个博客（参见最后），尽自己的努力争取将kmp算法思想和实现讲清楚。

        为了保持文章系列的连贯性，参考这个文章：        此前的文章： DNN结构演进History—LSTM_NN  ，这个文章的分析更加全面清晰：Understanding LSTM NetWork 分析了各种LSTM网络，LSTM小品文 ：谷歌语音转录背后的神经网络。摘要：        LSTM使用一个控制门控制参数是否进行梯度计算，以此避免梯度消失或者爆炸。...

— 产生式模型（生成模型）估计联合概率P(x,y),因可以根据联合概率来生成样本：HMMs— 判别式模型（判别模型）估计条件概率P(y|x),因为没有x的知识，无法生成样本，只能判断分类:SVMs,CRF,MEMCRF条件随机场模型是由Lafferty在2001年提出的一种典型的判别式模型。

        NLP中关于语音的部分，其中重要的一点是语音信号从背景噪音中分离。比如在一个办公室场景中，有白天的底噪-类似于白噪音的噪音、空调的声音、键盘的啪啪声、左手边45度7米元的地方同事讨论的声音、右手边1.5米远处同事讨论的声音、打印机的声音。各种声音混杂在一起，从自然人的角度来分别，很容易做到区分各种声音。        以自然人的观点来看，不自觉的感知中使用了空间传播模型和声音模式识...

从图灵机的原始模型分析，神经图灵机包含两个基本组成部分：神经网络控制器和记忆库，控制器通过输入输出向量和外界交互。不同于标准神经网络的是，控制器还会使用选择性的读写操作和记忆矩阵进行交互。类比于图灵机，我们将网络的参数化这些操作的输出称为“读头”。输入向量和网络结构影响注意力的聚焦，决定寻址位置。

原文链接：OCR算法-CNN+BLSTM+CTC架构由于作者使用了Boost1.57-Vc14，而1.57的VC14版本作者没有给出下载链接，因此需要自行编译，建议换掉作者的第三方库，使用其他的库，比如：这篇文章：VS编译Caffe非常简单。网盘：3rdlibVC14。有少量的改动，如有疑问，请移步原文，直接到作者GitHub界面...链接：https://github.com/senli...

前言       attention作为一种机制，有其认知神经或者生物学原理: 注意力的认知神经机制是什么？        如何从生物学的角度来定义注意力？        大多数attention (gating) 技巧都可以直接加入现有的网络架构，通过合理设计初始化和训练步骤也可以利用现有网络的预训练参数。这大大扩展了这些技巧的适用范围。       参考此文：Recurrent...

前言       作为IP模式识别的CNN初始模型是作为单纯判别式-模式识别存在的，并以此为基本模型扩展到各个方向。基本功能为图像判别模型，此后基于Loc+CNN的检测模型-分离式、end2end、以及MaskCNN模型，而后出现基于CNN的预测模型-AcGans。       CNN作为一个基本判别式模型简化为数学模型依然为一个函数映射f(x)->y;  基于CNN的检测模型数学模型为 L...

文章链接：个人技术博客的选择：优快云、博客园、简书、知乎专栏还是Github Page？ 感觉还是Fuck The Dog！看来还是以后把文章写在本地，然后再上传到优快云吧。被优快云的缓存机制坑了几次，得非常注意这次事件才行！！！...

前言：         被动学习Agent由固定的策略决定其行为。主动学习Agent必须自己决定采取什么行动。        具体方法是：             Agent将要学习一个包含所有行动结果概率的完整模型，而不仅仅是固定策略的模型；            接下来，Agent自身要对行动做出选择（ 它需要学习的函数是由最优策略所决定的，这些效用遵循 Berman方程 ）；...

NTM通过融合一个注意力处理过程进行交互的外部存储器（external memory），来增强神经网络的能力。新系统等同于图灵机或者冯·诺依曼体系，但每个组成部分都是端到端可微的，因此可以使用梯度下降进行高效训练。初步的结果显示神经网络图灵机能够从输入和输出样本中推理出（infer）简单的算法，如复制、排序和回忆。

常规计算机算法能够处理复杂的大型数据结构，比如英特网和社交网络，但必须经过人类“手动”编程。神经网络则能通过示例学习如何识别复杂模式，但很难解析或组织复杂的数据结构。Alex Graves、Greg Wayne及同事，开发了一种名叫可微分神经计算机(DNC)的混合型学习机器，它由能从外部存储结构（类似常规计算机的随机存取存储器）读写数据的神经网络组成。因此，DNC能在没有先验知识和专门编程的条件下，仅仅通过试错方法来学习规划伦敦地铁路线，还能完成方块拼图游戏。

前言废话：       CNN在图像处理领域的极大成功源于CNN的二维递进映射结构，通过训练多层卷积核来进行特征提取函数训练，在二维图像的稀疏表达和语义关联分析方面有天生的结构优势。而涉及时序问题的逻辑序列分析—边长序列分析，需要引入适合解决其问题的方法。       引入RNN：在深度学习领域，传统的前馈神经网络（feed-forward neural net，简称FNN）具有出色的表现...

协同过滤的一个关键点是协同，即找到用户喜好相似的K个用户，一个多维向量的K近邻查找方法。 提出了一种Additional Stacked Denoising Autoencoder(aSDAE)的深度模型用来学习User和Item的隐向量，该模型的输入为User或者Item的评分值列表，每个隐层都会接受其对应的Side information信息的输入(该模型灵感来自于NLP中的Seq-2-Seq模型，每层都会接受一个输入，我们的模型中每层接受的输入都是一样的，因此最终的输出也尽可能的与输入相等)。

关于时序分析： 我们跟随时间的脚步，试图解释现在、理解过去、甚至预测未来........时间序列是一种重要的高维数据类型，它是由客观对象的某个物理量在不同时间点的采样值按照时间先后次序排列而组成的序列，在经济管理以及工程领域具有广 泛 应用。 目前重点的研究内容包括时间序列的模式表 示、时间序列 的相似性度量和查询、时间序列的聚类、时间序列的异常检测、时间序列的分类、时间序列的预测等。

关于HMM模型：隐马尔科夫模型 和动态贝叶斯网络

卡尔曼滤波（Kalman filtering）一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。由于观测数据中包括系统中的噪声和干扰的影响，所以最优估计也可看作是滤波过程。Overview of the calculation        The Kalman filter uses a system's dynamics model (e.g

图像处理与模式识别的教科书使用大量的章节来描述空域的模式识别方法。从图像底层特征提取、贝叶斯方法到多层神经网络方法，一般不讨论到对象随时间变化的情况，视频处理应用和在线学习方法使研究对象开始向时域延伸。       从不同的角度来看待时序模式识别：时间序列分析基础       一些摘抄：              时间序列分析说白了就是寻找时间序列中的模式。如果是在确定性时间序列中

关于分布式学习的论文、代码和资源整理。

漂移问题是on-line tracking最主要的问题。引起漂移最主要的原因就是，分类器更新时使用的样本本身的准确率存在问题。为了解决这个问题。有的作者采取的方式是放弃掉tracker得到的结果。....。而本文作者处理的方式是：既然所得到的样本标签的准确率有问题，那么对得到的样本进行扩展，作为一个事件集。选出里面错误率最低的时间来更新目标的位置，也由此来更新分类器。准确率和速度都会好很多。

图像跟踪是一个不断发展的研究方向，新的方法不断产生，再加上其它学科的方法的引入，因此对于图像跟踪算法的分类没有确定的标准。对于所有的跟踪算法，需要解决两个关键问题：目标建模和目标定位[35]。以下根据目标建模所用的视觉特征和目标定位所用的方法对跟踪算法分类。

来看看今日头条首席科学家的论文：End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF使用LSTM方法进行序列标注，完成大规模标注问题

在现实生活中, 数据的出现大多数是以非平稳形式, 这就涉及到了动态数据所构成的时间序列的分解.关于时间序列的分解, PeterJ.Brochwell&RichardA.Davis在其著作《timeSerieS:TheoryandMethodS》中己指出:分解时间序列的目的旨在估计和抽取确定性成分Tt,St,Ct,以使残量再即随机项是一平稳过程.进而求得关于随机项的合适概率模型,分析它的性质,并连同

人体行为识别可以看做是图像处理与模式识别的一种。人的行为可以分为静态行为和动态行为，常用概念有Pose：静态行为；Action：短时间动作行为（简单动态语义）；Activities：行为（长时间复杂动态语义）；动态行为与时间相关，其模式分析使用到时序分析的方法。工程的设想是这样的：以简单随机森林为起始，然后转到HMM模型，最后如果用研和数据标记人员加入，则可以使用RNNs方法。

一：最大熵模型 ：在满足已有证据的情况下不做任何其他假设，也就是熵最大 二：隐马尔可夫模型：当我们观察到观测序列后，要找到最佳的状态序列。三：最大熵隐马 Maximum Entropy Markov Model 四：条件随机场： 用局部信息去优化全局Conditional Random Fields。

贝叶斯网络，亦称信念网络。使用DAG图表示属性之间데依赖关系，并使用条件概率表来描述属性데联合概率分布。若网络데结构已知，即属性之间데依赖关系已知，제训练贝叶斯网络데学习过程相对简单，只需要通过对训练样本进行计数，估计每个样本데条件概率表即可。但在现实应用中，一般依赖关系未知，一般需要先用数据集找出最为恰当的网络结构。

论文的关键点是对时空上下文（Spatio-Temporal Context）信息的利用。主要思想是通过贝叶斯框架对要跟踪的目标和它的局部上下文区域的时空关系进行建模，得到目标和其周围区域低级特征的统计相关性。然后综合这一时空关系和生物视觉系统上的focus of attention特性来评估新的一帧中目标出现位置的置信图，置信最大的位置就是我们得到的新的一帧的目标位置。另外，时空模型的学习和目标的检测都是通过FFT（傅里叶变换）来实现，所以学习和检测的速度都比较快。

Jubatus http://jubat.us/en/overview.html 是一个面向大数据数据流的分布式在线机器学习的开源框架，和storm有些类似，但是从介绍上来看，它提供了更多的功能。 Jubatus认为未来的数据分析平台应该同时向三个方向展开：处理更大的数据，深层次的分析和实时处理；而当前还没有一种能够处理不断生成的流式大数据的水平可扩展的分布式架构。Hadoop的mapreduce能够处理大数据，但不能做复杂的机器学习算法；Apache Mahout是基于Hadoop的机器学习平台，但不

原文-LSTM的反向传播：深度学习(6)-长短期网路；此处仅摘抄一小段，建议拜访全文。LSTM的参数训练：https://www.jianshu.com/p/dcec3f07d3b5；LSTM的参数训练和前向计算比RNNs还是稍微复杂一些。长短时记忆网络的前向计算前面描述的开关是怎样在算法中实现的呢？这就用到了门（gate）的概念。门实际上就是一层全连接层，它的输入是一个向量，输出是一...