风翼冰舟的博客

前言最近发现有挺多人喜欢径向基函数(Radial Basis Function,RBF)神经网络，其实它就是将RBF作为神经网络层间的一种连接方式而已。这里做一个简单的描述和找了个代码解读。之前也写过一篇，不过排版不好看，可以戳这里跳转国际惯例，参考博客：维基百科径向基函数《模式识别与智能计算——matlab技术实现第三版》第6.3章节《matlab神经网络43个案例分析》第7章节tensorflow2.0实现RBF理论基本思想用RBF作为隐单元的“基”构成隐藏层空间

前言之前出过三篇换脸的博文，遇到一个问题是表情那一块不好处理，可行方法是直接基于2D人脸关键点做网格变形，强行将表情矫正到目标人脸，还有就是使用PRNet的思想，使用目标人脸的顶点模型配合源人脸的纹理，可以让表情迁移过来，但是这个表情是很僵硬的。比如笑脸的3D顶点模型，结合不笑人脸的纹理图，生成的笑脸是非常奇怪的。有兴趣可以翻csdn前面的文章，或者关注公众号检索人脸相关文章。这里针对表情，采用另一种方案——blendshape。这个理论在表情动画中经常使用到，目的就是驱动人脸表情，无论是动画人脸还是真

简介在UFLDL中介绍了主成分分析这一块的知识，而且当时学机器学习的时候，老师是将PCA和SVD联系起来将的，同时UFLDL也降到了使用PCA做数据白化whitening处理，这个词经常在论文里面看到。国际惯例，参考博客：UFLDL的PCA章节PRML的第12.1 PCA章节知乎深入理解PCA与SVD的关系PCA and SVD explained with numpyRelatio...

前言看了各种softmax以后迷迷糊糊的，还是研究一下UFLDL的教程稳点。当然还是得参考挺多教程的：UFLDL-softmax 、Softmax的理解与应用 、Logistic 分类器与 softmax分类器 、详解softmax函数以及相关求导过程 、Exercise:Softmax Regression 。其实，在最初比较疑惑的问题是：softmax的回归和分类到底是不是一个解法，或者它俩是不

前言虽然不是搞分类的，但是还是看看多标签和多分类的区别。当然是选择原谅他啊…….找正规文档看哇. 分别来自scikit-learn.org和 维基 喂鸡百科国际惯例，贴上来源:Multiclass and multilabel algorithmsMulti-label classificationMulticlass classificationscikit-learn介绍多类分类(Multicl

监督学习与无监督学习

前向后向算法或者Baum-Welch，不太好理解

前言我们都知道在机器学习中，希望算法或者网络收敛更快，有些是对数据预处理，尤其是Batch Normalization，有些是采用不同的激活函数，尤其是Relu激活函数取得了巨大的成功，还有一种加速收敛方法是更换损失函数。本博客就是针对均方差损失(MSE)和交叉熵损失的收敛速度做一个推导，当然少不了参考他人博客啦，但是参考归参考，重在自己推导一遍。国际惯例，来一波地址人工神经网络——【BP】反向传播

核函数

1. 前言维特比算法针对HMM第三个问题，即解码或者预测问题，寻找最可能的隐藏状态序列：对于一个特殊的隐马尔可夫模型(HMM)及一个相应的观察序列，找到生成此序列最可能的隐藏状态序列。也就是说给定了HMM的模型参数和一个观测序列，计算一系列的隐状态，使得此观察序列的出现可能最大，即最大化P(隐状态 | 观测序列)，给定观测序列，求最可能的对应的隐状态序列。实际上解决此问题，在《统计...

KL距离

前言最近读一个代码发现用了一个梯度更新方法, 刚开始还以为是什么奇奇怪怪的梯度下降法, 最后分析一下是用一阶梯度及其二次幂做的梯度更新。网上搜了一下, 果然就是称为Adam的梯度更新算法, 全称是:自适应矩估计(adaptive moment estimation) 国际惯例, 参考博文:一文看懂各种神经网络优化算法：从梯度下降到Adam方法Adam：一种随机优化方法An overview of g

1. 前言主要参考书籍《深度学习导论及案例分析》、维基百科“贝叶斯网络”、老笨妞的博客、PRML中文翻译，重点还是概念的掌握和几个小理论的推导，比较枯燥。加入了自己的一些简单理解。个人感觉概率有向图模型最大的意义在于：一个特定的有向图表示将联合概率分布分解为条件概率分布乘积的形式。2. 概念2.1 等价概念概率有向图模型、贝叶斯网络（Bayesian network）、信念网络...

1. 前言前向算法和后向算法主要还是针对HMM三大问题之一的评估问题的计算，即给定模型参数，计算观察序列的概率。文章不介绍过多公式，主要看两个例子复习一下HMM的三大要素（以海藻（可观测）和天气（隐状态）为例）：①初始概率向量：当前时刻天气的可能性，属于先验概率②状态转移矩阵：从当前天气转移到下一个天气的可能性，比如P(雨天|晴天)即为晴天转移到雨天的概率③混淆矩阵：当前天气为...

1. 前言前面看了概率有向图模型，必然对无向图模型也要研究一下。而且这个概率无向图模型对学习RBM有很大的帮助，它关系到能量函数的来源，所以还是看看吧。参考资料依旧是概率有向图模型中参考的三个资料。有向图将一组变量上的联合概率分布分解为局部条件概率分布的乘积；同时定义了一组条件独立的性质，根据图进行分解的任何概率分布都必须满足这些条件独立性质（也就是有向图中的那三种拓扑结构）。无向图也...

前言前面已经介绍了RBM和CNN了，就剩最后一个RNN了，抽了一天时间简单看了一下原理，但是没细推RNN的参数更新算法BPTT，全名是Backpropagation Through Time。【注】严谨来说RNN有两个称呼：①结构上递归的recursive neural network，通常称为递归神经网络；②时间上递归的recurrent neural network，通常称为循环神经网...

原文地址：http://blog.youkuaiyun.com/gao1440156051/article/details/44003051参数与非参数模型 　用代数方程、微分方程、微分方程组以及传递函数等描述的模型都是参数模型。建立参数模型就在于确定已知模型结构中的各个参数。通过理论分析总是得出参数模型。非参数模型是直接或间接地从实际系统的实验分析中得到的响应，例如通过实验记录到的系统脉冲响应或阶跃响应

无监督学习方法K-means算法

HMM前向算法，维比特算法，后向算法，前向后向算法代码

计算机视觉、机器学习相关领域论文和源代码

先看两个数学概念：相关系数（参看百度百科）     相关系数是用以反映变量之间相关关系密切程度的统计指标。相关系数是按积差方法计算，同样以两变量与各自平均值的离差为基础，通过两个离差相乘来反映两变量之间相关程度相关关系是一种非确定性的关系，相关系数是研究变量之间线性相关程度的量。由于研究对象的不同，相关系数有如下几种定义方式：简单相关系数：又叫相关系数或线性相关系数，一般用字母

隐马尔可夫模型简介，参考其它各种文献

机器学习比较好的一个综述

1. 概念官方解释：利用统计原理进行计算的方法，是一种线性变换。ICA分为基于信息论准则的迭代算法和基于统计学的代数方法两大类，如FastICA算法，Infomax算法，最大似然估计算法等。这里主要讨论FastICA算法。先来看ICA和PCA的区别：PCA是降维并提取不相关属性，而ICA是降维并提取相互独立的属性(不相关不一定独立，独立一定不相关。不相关是指没有线性关系，独立是指...

欧氏距离和马氏距离以及马氏距离的实现

文章来源：大数据文摘作者 | Jason Brownlee选文 |Aileen翻译 | 姜范波  校对 | 寒小阳机器学习最有价值(实际应用最广)的部分是预测性建模。也就是在历史数据上进行训练，在新数据上做出预测。 而预测性建模的首要问题是：如何才能得到更好的结果？这个备忘单基于本人多年的实践，以及

前言晚上逛微博看到的，顺便拿过来翻译一下，做做笔记国际惯例，来个原文链接：原文地址：Why is gradient descent robust to non-linearly separable data?译文声明：梯度下降法本身对于非线性可分数据是不具健壮性的。但是使用了合适的非线性激活函数以后便可以了。原因在于核函数的技巧。在核函数方法中，我们对数据做一个非线性变换，

上次写了一个一次函数y=ax+b类型的最小二乘法，即可以看做是n维输入列向量对应的一个n维输出列向量，然后对已知结果进行学习，得到拟合公式。这里对m*n的矩阵进行最小二乘法分析。设模型的输出为和训练集输出，它们之间的平方误差为：  学习目标就是得到模型参数θ 使得平方误差最小，加个系数1/2是为了更好的微分。 平方误差是残差 的  l2  范数，因此最小二乘学习法有时候也称为 ...

作者：Eugenio Culurciello机器之心编译参与：李亚洲、武竞微信公众号：（almosthuman2014）授权转载，禁止二次转载，点此为原文链接这是今年 6 月份普渡大学副教授 Eugenio Culurciello 写的一篇关于无监督学习的概述性文章。除了基本概念，本文还介绍了无监督学习的四种实现模型：聚类学习、自动编码器、生成模型、

作者：Matthew Mayo机器之心编译参与：Xuwen Wang、Chen Chen微信公众号：almosthuman2014）授权转载，禁止二次转载，点此为原文链接本文介绍了包括 LSTM、ANNS、生物神经元、反向传播、多元感知机等 14 个深度学习关键概念，对初学者来说，搞清楚这些关键词的含义对理解深度学习至关重要。机器之心曾在九月的一

机器之心编译 参与：吴攀微信公众号：almosthuman2014）授权转载，禁止二次转载，点此为原文链接本文整理了一些深度学习领域的专业名词及其简单释义，同时还附加了一些相关的论文或文章链接。本文编译自 wildml，作者仍在继续更新该表，编译如有错漏之处请指正。文章中的论文与 PPT 读者可点击阅读原文下载。激活函数（Activation Fun