haoji007的博客

自注意力机制(Self-attention)自注意力机制 (Self-attention) 随着自然语言处理 (Natural Language Processing, NLP) 模型（称为“Transformer”）的引入而变得流行。在诸如语言翻译之类的NLP应用程序中，模型通常需要逐字阅读句子以理解它们，然后再产生输出。Transformer问世之前使用的神经网络是递归神经网络 (Recurrent Neural Network, RNN) 或者其变体，例如长短期记忆网络 (Long Short-T

在这里整理了一下常见的度量距离，公式就不贴了。文章最后发

t-SNE实践——sklearn教程t-SNE是一种集降维与可视化于一体的技术，它是基于SNE可视化的改进，解决了SNE在可视化后样本分布拥挤、边界不明显的特点，是目前最好的降维可视化手段。关于t-SNE的历史和原理详见从SNE到t-SNE再到LargeVis。代码见下面例一TSNE的参数函数参数表：parameters 描述 n_components...

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.youkuaiyun.com/u012759136/article/details/52302426前言（标题不能再中二了）本文仅对一些常见的优化方法进行直观介绍和简单的比较，各种优化方法的详细内容及公式只好去认真啃论文了，在此我就不赘述了。SGD此处的SGD指mini-batch gradient descent...

一、PCA简介1. 相关背景主成分分析（Principal Component Analysis，PCA）是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。        在许多领域的研究与应用中，往往需要对反映事物的多个变量进行大量的观测，收集大量数据以便进行分析寻找规律。多变量大样本无疑会为研究和应用提供了丰富的信息，但...

数据标准化（归一化）处理是数据挖掘的一项基础工作，不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理，以解决数据指标之间的可比性。原始数据经过数据标准化处理后，各指标处于同一数量级，适合进行综合对比评价。以下是两种常用的归一化方法：一、min-max标准化（Min-Max Normalization）也称为离差标准...

综述SVM支持向量机SVM(Support Vector Machine)是一个有监督的学习模型，通常用来进行模式识别、分类、以及回归分析。总得来说，SVM就是通过训练得到一个超平面 ,将样本分类，保证被分类的样本中离超平面近的一些点距离超平面距离（几何间隔）最大，这些离超平面近的点叫作支持向量(之所以叫支持向量而不叫支持样本是因为每个样本均认为是一个向量，每个特征是向量的一个元素)。LibSvm...

前言（标题不能再中二了）本文仅对一些常见的优化方法进行直观介绍和简单的比较，各种优化方法的详细内容及公式只好去认真啃论文了，在此我就不赘述了。SGD此处的SGD指mini-batch gradient descent，关于batch gradient descent, stochastic gradient descent, 以及 mini-batch gradient d

转载：http://cvmart.net/community/article/detail/36神经网络的调试基本上难于绝大多数的程序，因为大部分的神经网络的错误不会以类型错误或运行时错误显现，他们只是使得网络难以收敛。如果你是一个新人，这可能会让你非常沮丧。一个有经验的网络训练者可以系统的克服这些困难，尽管存在着大量似是而非的错误信息，比如：你的网络训练的不太好。对

I. 数据集问题1. 检查你的输入数据检查馈送到网络的输入数据是否正确。例如，我不止一次混淆了图像的宽度和高度。有时，我错误地令输入数据全部为零，或者一遍遍地使用同一批数据执行梯度下降。因此打印／显示若干批量的输入和目标输出，并确保它们正确。2. 尝试随机输入尝试传递随机数而不是真实数据，看看错误的产生方式是否相同。如果是，说明在

数据的形式是多种多样的，维度也是各不相同的，当实际问题中遇到很高的维度时，如何给他降到较低的维度上？前文提到进行属性选择，当然这是一种很好的方法，这里另外提供一种从高维特征空间向低纬特征空间映射的思路。数据降维的目的　　数据降维，直观地好处是维度降低了，便于计算和可视化，其更深层次的意义在于有效信息的提取综合及无用信息的摈弃。数据降维的方法　　主要的方法是线性映射和

通常，我们会遇到很多问题无法用分析的方法来求得精确解，例如由于式子特别，真的解不出来；一般遇到这种情况，人们经常会采用一些方法去得到近似解（越逼近精确解越好，当然如果一个近似算法与精确解的接近程度能够通过一个式子来衡量或者有上下界，那么这种近似算法比较好，因为人们可以知道接近程度，换个说法，一般一个近似算法被提出后，人们通常都会去考察或寻求刻划近似程度的式子）。本文要谈的随机模拟就

前言（标题不能再中二了）本文仅对一些常见的优化方法进行直观介绍和简单的比较，各种优化方法的详细内容及公式只好去认真啃论文了，在此我就不赘述了。SGD此处的SGD指mini-batch gradient descent，关于batch gradient descent, stochastic gradient descent, 以及 mini-batch gradient descent

转载自 http://www.cnblogs.com/neopenx/p/4453161.htmlReLu(Rectified Linear Units)激活函数论文参考：Deep Sparse Rectifier Neural Networks (很有趣的一篇paper）起源：传统激活函数、脑神经元激活频率研究、稀疏激活性传

http://blog.youkuaiyun.com/loadstar_kun/article/details/39450615http://blog.youkuaiyun.com/helloworld6746/article/details/50817427一、KNN算法概述KNN作为一种有监督分类算法，是最简单的机器学习算法之一，顾名思义，其算法主体思想就是根据距离相近的邻居类别，来判

标签： PAC分类器识别域描述未见过类别2017-01-30 13:26 181人阅读 评论(0)收藏举报分类： machine learning（15） 版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[+]未见过类别    未见过类别或者叫不知道类别。简单来说，如我们定义类别{苹果，香蕉} 且

Softmax回归Contents  [hide]1 简介2 代价函数3 Softmax回归模型参数化的特点4 权重衰减5 Softmax回归与Logistic 回归的关系6 Softmax 回归 vs. k 个二元分类器7 中英文对照8 中文译者简介在本节中，我们介绍Softmax回归模型，该模型是logis

patches = [];  tx = imread('test.jpg');%load('pcaData.txt','-ascii');  tx = double(tx);  x = zeros(size(tx, 1) * size(tx, 2), size(tx, 3));  tx = tx(:);  for i = 1 : size(x,2)      x(:, i)