SCUT_Arucee的博客

这是本人第一次写博客，把学到的东西以及自己的理解用类似于学习笔记的形式表达出来。如果有不妥的地方，希望大家指正。谢谢！一、模式识别的定义 关于模式识别(pattern recognition)的定义，首先要了解模式和识别分别是什么含义。有教材指出模式是指组成成分或影响因素间存在确定性或随机性规律的对象、过程或事件的集合。而识别是指把对象分门别类地认出来，也有解释是指以前见过，现在再次认出来。简而言

本文主要记录了神经网络的代价函数，神经网络中梯度下降的用法，反向传播，梯度检验，随机初始化等理论，并附上课程作业中相关部分的matlab代码及注释。有关神经网络的概念，模型，以及利用前向传播预测分类的计算可参看Andrew Ng机器学习入门学习笔记（四）之神经网络（一） http://blog.youkuaiyun.com/scut_arucee/article/details/50144225一.神经网

一.神经网络的优势对于复杂的非线性分类问题，当特征变量个数nn很大时，用逻辑回归时S型函数g(θTx)中的θTxS型函数g(\theta^Tx)中的\theta^Tx如果用二次多项式表示，则二次项数目很多，约为n2n^2，计算复杂度达到o(n2)o(n^2)；如果用三次多项式表示，则三次项数目更多，复杂度达o(n3)o(n^3)。而神经网络能很好的解决上面那种复杂的非线性分类问题。二.神经网络的模型

一.支持向量机的引入支持向量机（SVM）是一种极受欢迎的监督学习算法，为了引入支持向量机，我们首先从另一个角度看逻辑回归。1.从单个样本代价考虑假设函数hθ(x)=11+e−θTxh_\theta(x)=\frac{1}{1+e^{-\theta^Tx}}。由于S型函数有如下图的特性，则，如果y=1y=1，那我们希望hθ(x)≈1h_\theta(x)≈1,即θTx>>0\theta^Tx>>0；如

一.背景简要说明问题背景不再详细赘述了，《机器学习实战》中有详细介绍，利用KNN想做的就是训练出一个分类器，能根据对方的一些特征判断他（她）对你的吸引程度，是不喜欢，还是一般喜欢，还是很喜欢。以此改进约会配对效果。二.模块代码及注释from numpy import *import operator#样本数据集创建函数def creatDataSet(): da

一.概念k-邻近算法是最简单的机器学习算法之一。k-邻近算法采用测量不同特征值之间的距离（具体说是欧氏距离）的方法进行分类。输入待分类的数据后，计算输入特征与样本集数据对应特征的距离，选择样本集中与输入特征距离最小的前k个样本，统计这k个样本数据中出现次数最多的类别作为新数据的分类。二.kNN的简单实施代码及注释from numpy import *import operatordef creat

一.背景简要说明书中假设待识别的数字已经使用图形处理软件将其处理为32*32的黑白图像，并将图片转换为文本格式。如下图代表数字0：每个数字的训练样本大概有200个，每个数字的测试样本大概有100个，分别放在trainingDigits和testDigits中。二.模块代码及注释from numpy import *from os import

一.分类问题和逻辑回归1.逻辑回归的提出前面举例较多的房价问题属于监督学习中的线性回归问题，因为需要预测的变量是连续的。对于另一类问题，需要预测的变量是离散的，称为分类问题。根据分类种类的多少，又有两类分类问题和多类分类问题之分。例如现在有一些肿瘤大小和相应性质（0代表良性，1代表恶性）的训练数据，如下图紫色叉点。若仍以线性回归进行学习，则可以学习出如下橘色的假设函数hθ(x)h_\theta(x)

一.机器学习的定义(Definition)定义：是一门在不需要很明显很复杂的计算机编程的情况下让计算机具有学习能力的学科。更现代化的定义：给计算机程序提供一个任务T和一种性能测量方法P,在经验E的影响下测量方法P对任务T的测量结果得到了改进。（该程序从E中学习）二.机器学习的种类(Type)(1)监督学习：用于训练的数据提供了一组“标准答案”。监督学习又可细分为①回归问题(regression)②分

一.多变量线性回归(Multivariate linear regression)前面讨论的房屋价格问题我们认为房屋价格只与其大小有关，故定义了hθ(x)=θ0+θ1xh_\theta(x)=\theta_0+\theta_1x这样的假设函数。若房屋的价格yy受到其大小x1x_1，卧室数量x2x_2，楼层x3x_3，房屋年龄x4x_4多个因素共同影响，则称为多特征或多变量问题。符号说明：n→特征变量

一.机器学习诊断在设计机器学习系统或者进行改进时如果遇到问题，下一步应该怎么办呢？除了掌握一些学习算法之外，我们还需要知道如何调试一个算法。例如我们已经实现了一个正则化线性回归来预测房价，J(θ)=12m[∑mi=1(hθ(x(i))−y(i))2+λ∑mj=1θ2j]J(\theta)=\frac{1}{2m}[\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})^2+\