o707191418的博客

1.Polynomial Regression上面这个数据点集，显然不再是线性回归，所以这时就可以选择多项式方程进行拟合，根据这些数据点的规律，我们可能选择二次多项式（会下降）、三次多项式（上升趋势变快）或者平方根函数（上升趋势变缓慢）等等来拟合数据点。同时，在上述的三次多项式拟合时，x1，x2和x3的取值范围差别非常大，此时前面提到的特征缩放对于使用梯度下降法来说就显...

1. gaussianKernel.mfunction sim = gaussianKernel(x1, x2, sigma)%RBFKERNEL returns a radial basis function kernel between x1 and x2% sim = gaussianKernel(x1, x2) returns a gaussian kernel betwee...

1.linearRegCostFunction.mfunction [J, grad] = linearRegCostFunction(X, y, theta, lambda)%LINEARREGCOSTFUNCTION Compute cost and gradient for regularized linear %regression with multiple variable...

1. Bias and Variance简单来看，偏差（bias）代表的是欠拟合，方差（variance）代表的是过拟合数据。可以用下图来理解2. Learnning curves

1.sigmoidGradient.mfunction g = sigmoidGradient(z)%SIGMOIDGRADIENT returns the gradient of the sigmoid function%evaluated at z% g = SIGMOIDGRADIENT(z) computes the gradient of the sigmoid fun...

http://neuralnetworksanddeeplearning.com/chap2.html

1.plotData.mfunction plotData(X, y)%PLOTDATA Plots the data points X and y into a new figure % PLOTDATA(x,y) plots the data points with + for the positive examples% and o for the negative e...

1. Overfitting过拟合定义：如果有太多特征，那么假设函数也许会对训练集拟合的相当完美（代价函数几乎为0），但是不能很好地泛化到新的例子中。下面是一个logistic regression的过拟合的例子：如何来解决过拟合的问题呢？下面给出了两种方法：第一种方法是在特征的数量上做出一些改变，甚至可以结合一些模型选择算法；第二种方法就是下面要讲的正则化。...

1.lrCostFunction.mfunction [J, grad] = lrCostFunction(theta, X, y, lambda)%LRCOSTFUNCTION Compute cost and gradient for logistic regression with %regularization% J = LRCOSTFUNCTION(theta, X, ...

1.Non-linear Hypotheses运用逻辑回归来处理多特征的问题时，会发现其表达式非常复杂，多项式的项数随着特征个数的平方次增长，这就很难进行计算与拟合了。所以需要一种非线性假设，神经网络就提供了这样一种解决方案。2.Neural Networks神经网络在每一层对每一个输入节点都乘以一个参数θ（或者说权重），然后加上这一层的偏置，并经过sigmoid函数的处...

1. Classification我们可以尝试使用线性回归来实现分类，所要做的就是在线性回归拟合数据以后给他一个threshold（阈值），例如在下面的例子中，就可以给一个0.5作为阈值（当hθ(x)的值大于等于0.5时，预测y为1；当hθ(x)小于0.5时，预测y为0）来预测肿瘤的性质（良性或恶性）。在这种情况下，我们所看到的使用线性回归来实现分类任务好像没有问题，但是，...

1.Supervised Learning在监督学习中，我们会有一组已经知道输出结果应该是怎么样的数据集，也就是说，知道输入和输出之间会有一种特定的关系。然后，在监督学习中问题又被分成“回归”和“分类”两类问题。回归（Regression）：预测的是一组连续的输出结果，也就是说需要将输入的数据与某个特定的连续函数所对应起来。分类（Classification）：预测的是一组离散...

1.Hypothesis Function首先是我们对我们的数据集有一个大致的拟合函数，叫做假设函数（Hypothesis function），对于线性回归来讲，假设函数通常有如下形式：这是直线的表达式，h则代表是假设函数。那么我们便可以任意给出θ0和θ1的值，来得到一个我们预测的输出。换句话来说，就是我们设法构造了一个函数hθ（x）试图来将我们的输入输出数据进行拟合。下面是一个例...

一、单变量梯度下降1. warmUpExercise.mfunction A = warmUpExercise()%WARMUPEXERCISE Example function in octave% A = WARMUPEXERCISE() is an example function that returns the 5x5 identity matrixA = [];...

1.Linear Regression with Multiple Variables简单来说，多元线性回归就是把前述的输入变量规模扩大，增加更多的自变量。下面是一些符号的含义：那么相应的来看，多变量的假设函数（Hypothesis Function）有如下形式：其矩阵（向量化）乘法形式的表示方法如下：这里有一点就是对每一个数据集来说，其x0都是恒为1的，与θ0...

1. FeatureNormalization（Feature Scaling）在梯度下降算法中，当θ在一个较小的范围内时会快速下降，而在较大的范围内则下降的较为缓慢，所以当变量的取值范围非常不均匀时，算法会低效率地振动到最优解。所以说，我们可以将每个变量固定在一个大致相同的范围内来加快梯度下降的速率。例如将变量控制在：这不是一个绝对的区间，只要我们大致将变量控制在相似的取值范围...

为什么在x1和x2的取值范围相差太大时代价函数的等值图会是一个扁长的椭圆形呢？这里从代价函数的表达式入手来进行分析。多元线性回归的代价函数表达式如下：如果我们将hθ(x)展开，上式就可以写成在这个表达式中，我们只关注蓝色部分（蓝色部分是变量）在例子中，我们知道x1和x2的取值范围分别为[0,2000]和[1,5]，那么对于等值线图，如果我们任意取一条垂直于θ1轴的...

15.import pandas as pdimport numpy as npdef get_training_set(): # 读取.dat文件，并用\s+匹配空格读取出五列数据，header将第一行放入数据（否则第一行是列名） data = pd.read_csv('F:\\Kaggle\\hw1_15_train.dat', sep='\s+', names=...