meanme的专栏

Aha, after the intricate BP neural network(I spend more than 24 hours to finish that exercise,but even i finish ,i am sure i am not understand BP neural network well),now i finally meet the powerful

本次UFLDL练习大致流程：通过对标记为5-9的数字图像进行self-taught特征提取（笔画特征），获得特征参数opttheta。use opttheta to obtain a（2） which represente the labeled input data.Training and testing the logistic regression model(with softmax

The step of this exercise is show in the pdf which i have updoaded.Neural network of this exercise is not easy to finish,okay,let me show U.nnCostFunction:function [J grad] = nnCostFunction(

稀疏编码介绍稀疏编码算法是一种无监督学习方法，它用来寻找一组“超完备”基向量来更高效地表示样本数据。稀疏编码算法的目的就是找到一组基向量 ϕi\begin{align}\mathbf{\phi}_i\end{align} ，使得我们能将输入向量 x 表示为这些基向量的线性组合： x=∑i=1kaiϕi\begin{align}\mathbf{x} = \sum_{i=1}^k a_i \math

When should we use fine-tuning?It is typically used only if you have a large labeled training set; in this setting, fine-tuning can significantly improve the performance of your classifier. However, if

这是UFLDL的编程练习，因为只看到第一章节，还没有看到向量化，所以本篇博客只注意对算法的理解，没有注意向量化。因为进入机器学习领域也只有一个多月，许多错误之处望指出。 传统的神经网络一般用于监督学习(supervised learning)，一般而言，SVM比传统的backpropagation分类算法更有效。但是最近神经网络在无监督学习（unsupervised learning）领域开始大放

本文根据论文–introduction to Restricted Boltzmann Machine（中国科技论文在线），删去了一些公式推理，作简要概括，主要为编程实现而总结。（具体内容请参考原文）受限波尔茨尼机结构及相关函数： 基于对比散度的RBM快速学习算法 上面算法中的每个for语句都可以使用向量化来加速算法。 另外，其他一些改进的学习算法： 参数设置 与一般的神经网络训练

如何在Caffe中配置每一个层的结构 —核心网络 最近刚在电脑上装好Caffe，由于神经网络中有不同的层结构，不同类型的层又有不同的参数，所有就根据Caffe官网的说明文档做了一个简单的总结。1. Vision Layers1.1

总结斯坦福2015李飞飞教授以及Andrej Karpathy教授的上课的slides中关于CNN的一些内容一：神经网络实验的基本策略：1.对输入数据进行预处理： 2.网络结构和数据集设置：（1）-随机初始化weights为一些比较小的数（fan-in，fan-out），bias设置为0（2）-利用好cv集，可以在少量epoch的结果下选择最好的params，然后进行更多的epoch3.分析实验结

接着上一篇的内容：四：Transfer Learning：1.对于数据量少或者中等的情况，迁移学习很有用2.基于ImageNet的实验，将ImageNet的所有类的各分一半为A，B：（1）.先训练A部分，然后将前n层的参数保存好；再重新初始化后n+层的参数，用B部分训练；再将前面保存好的参数，和后面训练B部分得到的参数结合，在B的验证集上进行验证：（2）.先训练A部分，训练完A后重新初始化n+层后面

笔者实力有限，诸多错误之处还望指出。 SAE与DBN两个都可以用于提取输入集特征的算法。SAE是由多个Spase AutoEncoder堆叠而成，单个Spase AutoEncoder的结构如下： 在堆叠成SAE时的结构如下： 以上SAE的结构可以化分为两个sparse autoencoder和一个 softmax（这里不讨论softmax）.其中的两个sparse autoenc

梳理1.Model Ensemble 可以分为三大类：Bagging，Boosting， Stacking.2.Boosting可以说是一个思想（框架），而Adaboost等算法只是其一个子类，记得ICCV2015有一个结合CNN和Boosting的工作获得了Best Paper Award？：3.Boosting的 前向分布算法（在每一步求解弱分类器Φ(m)和其参数w(m)的时候不去修改之前已经求

Sparse Autoencoder Recap:Because we used a sigmoid activation function for f(z(3)), we needed to constrain or scale the inputs to be in the range [0,1], since the sigmoid function outputs numbers in th

这是UFLDL的编程练习。Weight decay（Softmax 回归有一个不寻常的特点：它有一个“冗余”的参数集）后的cost function和梯度函数：cost function：J(θ)=−1m⎡⎣∑i=1m∑j=1k1{y(i)=j}logeθTjx(i)∑kl=1eθTlx(i)⎤⎦+λ2∑i=1k∑j=0nθ2ij\begin{align}J(\theta) = - \frac{

In anomaly detection problems,every features corresponding to one formula of Gaussian distribution.To start anomaly detection,the steps you should do are the fellows:Using all the examples of each fe

Just as last bog,input Octave commands show in the figure below: There are something different from last example with one variable,We should add a step namedFeature Normalization.using

When we face a problem like this :To create a classifier of this dataset,we may add some features by using Feature mapping.But,to avoid overfiting, we also should use Regularization :

机器学习无疑是当前数据分析领域的一个热点内容。很多人在平时的工作中都或多或少会用到机器学习的算法。这里IT经理网为您总结一下常见的机器学习算法，以供您在工作和学习中参考。机器学习的算法很多。很多时候困惑人们都是，很多算法是一类算法，而有些算法又是从其他算法中延伸出来的。这里，我们从两个方面来给大家介绍，第一个方面是学习的方式，第二个方面是算法的类似性。学习方式根据数据类型的

Yoshua Bengio教授（个人主页）是机器学习大神之一，尤其是在深度学习这个领域。他连同Geoff Hinton老先生以及 Yann LeCun（燕乐存）教授，缔造了2006年开始的深度学习复兴。他的研究工作主要聚焦在高级机器学习方面，致力于用其解决人工智能问题。他是仅存的几个仍然全身心投入在学术界的深度学习教授之一，好多其他教授早已投身于工业界，加入了谷歌或Facebook公司。

Linear Regression is often used for predicting .The simple step of Linear Regression is always like: step1  load your data     step2  plot your data     step3  use Gradien Descent to learn the

this is a example to build a logistic regression model to predict whether a student gets admitted into a university.As usual,loading and plotting your data:and the plotData.m file is :

K-mean is a kind of cluster algorithm, It allows us to find characteristics in the No characteristic data. The two important steps of K-mean : One is that clustering every example to its right

U can use PCA to speed up your learning algorithm,but before it ,U’d better to run your learning algorithm with no PCA first(This is What Andrew Ng said).And U can also compress data by using PCA.amazi

We will use Logistic Regression to recognize the number 1-10.Loading data,Plotting data.as the picture below:Vectorizing regularized logistic regressionThen learn t

这是UFLDL的编程练习。具体教程参照官网。PCAPCA will find the priciple direction and the secodary direction in 2-dimention examples. then x~(i)=x(i)rot,1=uT1x(i)∈R.\begin{align}\tilde{x}^{(i)} = x_{{\rm rot},1}^{(i)}

title: 深度学习资料汇总 categories: - Summarize整理了平时自己用到的一些DL的资源网站deeplearning.netUFLDL机器学习日报kaggle winner solution斯坦福人工智能实验室课程列表+ppt强化学习资料汇总机器学习资料汇总卷积网络Trick卷积网络Trick-EnglishOpenCV(python/c++)D