鹊踏枝-码农的专栏

什么是逻辑回归？Logistic回归与多重线性回归实际上有很多相同之处，最大的区别就在于它们的因变量不同，其他的基本都差不多。正是因为如此，这两种回归可以归于同一个家族，即广义线性模型（generalizedlinear model）。这一家族中的模型形式基本上都差不多，不同的就是因变量不同。如果是连续的，就是多重线性回归；如果是二项分布，就是Logistic回归；

发现一篇对SVM讲解较好的博文，从SVM的基本原理到凸二次规划问题，再到约束优化问题到拉格朗日乘子的非约束优化问题，再到主问题与对偶问题的转化，讲解清楚，娓娓道来，博主链接，博文链接。建议再看一下Stanford CS229 Machine Learning的教学资料，是关于SVM的，有相关code。...

在Matlab中有内置的built-in function PCA降维函数:[coeff,score,latent,tsquared,explained]=princomp(X),其中输出score即为经过PCA变换后的数据，但是默认取全部主成分，如X是100x20，其中100是样本数，20是特征维数，则PCA变换后的score仍然为100x20。若要降维为10维，可以直接取前10列即可，或者

在卷积神经网络ConvNets中，前向传播到最后一层计算网络预测标签（predicted label）与真实标签（Ground Truth）之间的误差，需要定义一个损失函数，如Log loss，Softmax log loss，Multiclass hinge loss，Multiclass structured hinge loss等，本文要讲的就是Softmax log loss损失函数在Co

在卷积神经网络ConvNets中，前向传播到最后一层计算网络预测标签（predicted label）与真实标签（Ground Truth）之间的误差，需要定义一个损失函数，如Log loss，Softmax log loss，Multiclass hinge loss，Multiclass structured hinge loss等，本文要讲的就是Softmax log loss损失函数在Co

自从接触了机器学习后，在很多地方如书籍和文献中经常会看到有一类参数叫超参数（hyperparameter），其中提超参数最多的地方是在支持向量机（SVM）和深度学习（Deep Learning）中，比如支持向量机中的松弛因子：上式中的C就是松弛因子，这个参数在支持向量机中不像参数W那样，可以通过优化学习得到。还有深度学习中的超参数，如学习率（Learning Rate），在训练深度网络

首先，需要说明一点的是，训练集（training set）、验证集（validation set）和测试集（test set）本质上并无区别，都是把一个数据集分成三个部分而已，都是（feature,label）造型。尤其是训练集与验证集，更无本质区别。测试集可能会有一些区别，比如在一些权威计算机视觉比赛中，测试集的标签是private的，也就是参赛者看不到测试集的标签，可以把预测的标签交给大赛组委

在多变量分析及数据挖掘中，Principal Component Analysis（PCA）降维原理估计是最古老也是最著名的。PCA降维原理分别在三个领域中被发现：Pearson在研究生物结构时发现，Hotelling在心理测定领域发现该原理，Karhunen 在随机过程的框架下发现PCA原理，随后Lo`eve对其进行了归纳总结，故PCA变换也被称为K-L变换。由此可以看出，PCA原理分别在三个领

混淆矩阵的每一列代表了预测类别，每一列的总数表示预测为该类别的数据的数目；每一行代表了数据的真实归属类别，每一行的数据总数表示该类别的数据实例的数目。在图像精度评价中，主要用于比较分类结果和实际测得值，可以把分类结果的精度显示在一个混淆矩阵里面。下面是混淆矩阵的Matlab实现示例，可直接复制粘贴运行：% function confusion_matrix(actual,detecte

来源：转载本文请联系原作者获取授权，同时请注明本文来自张重科学网博客。链接地址：http://blog.sciencenet.cn/blog-722391-583413.html 流形（manifold）的概念最早是在1854年由 Riemann 提出的(德文Mannigfaltigkeit)，现代使用的流形定义则是由 Hermann Weyl 在1913年给出

理论知识 随机向量的“零均值化”和“空间解相关”是最常用的两个预处理过程，其中“零均值化”比较简单，而“空间解相关”涉及一些矩阵的知识。    设有均值为零的随机信号向量  ，其自相关矩阵为很明显，  是对称矩阵，且是非负定的（所有特征值都大于或等于0）。    现在，寻找一个线性变换  对  进行变换，即  ，使得上式的含义是：y的各分量是不相关的

在深度学习中，特征的归一化起到至关重要的作用，甚至比本身所提出的方法更重要。比如相关滤波（Correlation Filters）的输出结果，协方差矩阵等，若不经过合适的归一化方法，其作为特征表示的最终结果（Performance）将会很差。下面介绍在深度学习中常用的特征归一化（Normalized Features）方法如下：按照大类划分的话可大致分为如下两类：1. Soft Nor...