holy的博客

核函数的数学要求 核函数有严格的数学要求，所以设计一个核函数是很困难的。K(x,z)是正定核的充要条件是：K（x,z）对应的Gram矩阵实半正定矩阵。 Gram矩阵：矩阵对应点的内积。KTK, KKT 半正定矩阵：设A是实对称矩阵。如果对任意的实非零列矩阵X有XTAX≥0，就称A为半正定矩阵。 当检验一个K是否为正定核函数，要对任意有限输入集{xi…}验证K对应的Gram矩阵实是否为半正定矩

转自：http://blog.youkuaiyun.com/icefire_tyh/article/details/52064910目录(?)[-]机器学习周志华西瓜书参考答案总目录- 目录第一章 绪论第二章 模型评估与选择第三章 线性模型第四章 决策树第五章 神经网络第六章 支持向量机第七章 贝叶斯分类器第八章 集成学习第九章 聚类第十章 降纬与度量学习第十一章 特征选择与稀

转自：http://www.cnblogs.com/tornadomeet/p/3395593.html   前言：　　找工作时（IT行业），除了常见的软件开发以外，机器学习岗位也可以当作是一个选择，不少计算机方向的研究生都会接触这个，如果你的研究方向是机器学习/数据挖掘之类，且又对其非常感兴趣的话，可以考虑考虑该岗位，毕竟在机器智能没达到人类水平之前，机器学习可以作为一种重要手段

kNN的概念 kNN是一种较为简单的监督学习方法，输入没有标注的新数据后，将新数据的特征与样本集中的每个数据对应的特征比较，然后算法选择出最接近的k的个数据，根据这k个数据判断新数据。如果是分类问题，投票法，加权投票法。回归问题可以是平均法。实验 这次实践，采用最简单的欧式距离才度量特征间的相似性。数据集来源是“手写数字数据集的光学识别”。# -*- coding: utf-8 -*-"""

目录1 特征工程是什么？2 数据预处理　　2.1 无量纲化　　　　2.1.1 标准化　　　　2.1.2 区间缩放法　　　　2.1.3 标准化与归一化的区别　　2.2 对定量特征二值化　　2.3 对定性特征哑编码　　2.4 缺失值计算　　2.5 数据变换　　2.6 回顾3 特征选择　　3.1 Filter　　　　3.1.1 方差选择法

kNN优缺点 从上节的实验中我们可以发现： 优点：简单，易于理解，易于实现，对异常值不敏感，适合分类问题，尤其合适多分类问题（对象具有多个类别标签） 缺点：懒惰算法，时间和空间复杂度高k值的选取 k对分类有着很大的影响，k太小意味着模型变的复杂，容易发生过拟合，易受异常点的影响。k值较大，易受其他类别的数据干扰，影响分类效果。 所以k值一般选取一个较小的值（经验值，小于类别的平方根），或通

前言交叉熵损失函数交叉熵损失函数的求导前言说明：本文只讨论Logistic回归的交叉熵，对Softmax回归的交叉熵类似。 首先，我们二话不说，先放出交叉熵的公式： J(θ)=−1m∑i=1my(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i))),以及J(θ)对参数θ的偏导数（用于诸如梯度下降法等优化算法的参数更新），如下： 

转自：http://www.jianshu.com/p/fb97b21aeb1d面试问题1：什么是决策树？答：决策树是一种分类和回归的基本模型，可从三个角度来理解它，即：一棵树if-then规则的集合，该集合是决策树上的所有从根节点到叶节点的路径的集合定义在特征空间与类空间上的条件概率分布，决策树实际上是将特征空间划分成了互不相交的单元，每个从根到叶的路径对应着一个单元。决策树所表

众所周知，在深度学习图像分类、目标检测等任务的训练过程中需要大量的训练图片；为了方便快速批量的读取数据，往往都会先把图片数据集转化成特殊的文件格式，常见的如：.mat, .npy, .pkl, .csv 等。本文主要介绍如何由现有图片生成.pkl文件。图片的整理首先，将图片按类别整理成如下目录格式： - 第一层目录为/jpg - 第二层目录如图  显然每个文件夹