melon__的博客

多维特征房价模型增加更多的特征，例如房间数楼层等，构成一个含有多个变量的模型，模型中的特征为n:特征的数量:代表第 i个训练实例，是特征矩阵中的第i行，是一个向量:代表特征矩阵中第i行的第j个特征，也就是第i个训练实例的第j个特征。支持多变量的假设 h 表示为：为了使得公式能够简化一些，引入 x0 =1，则公式转化为：此时模型中的参数是一...

function [J, grad] = lrCostFunction(theta, X, y, lambda)%LRCOSTFUNCTION Compute cost and gradient for logistic regression with %regularization% J = LRCOSTFUNCTION(theta, X, y, lambda) computes th...

function [all_theta] = oneVsAll(X, y, num_labels, lambda)%ONEVSALL trains multiple logistic regression classifiers and returns all%the classifiers in a matrix all_theta, where the i-th row of all_th...

function p = predict(Theta1, Theta2, X)%PREDICT Predict the label of an input given a trained neural network% p = PREDICT(Theta1, Theta2, X) outputs the predicted label of X given the% trained ...

function p = predictOneVsAll(all_theta, X)%PREDICT Predict the label for a trained one-vs-all classifier. The labels %are in the range 1..K, where K = size(all_theta, 1). % p = PREDICTONEVSALL(all...

神经网络分类：二类分类：,y=0或y=1表示哪一类K类分类：，yi=1表示分到第i类（k > 2）表示定义：L：神经网络层数，包括输入层、隐藏层、输出层：l层的单元数K：神经网络的输出分类数（亦是输出层的单元数）逻辑回归中，代价函数为：神经网络在逻辑回归中，我们只有一个输出变量，又称标量，也只有一个因变量y,但是在神经网络中，我们可以有很多输出变量，我们h(x)是一个维度为K的向量，并且我们...

反向传播算法目的最小化神经网络代价函数表示：l：代表目前所计算的是第几层。j：代表目前计算层中的激活单元的下标，也将是下一层的第个输入变量的下标。i：代表下一层中误差单元的下标，是受到权重矩阵中第行影响的下一层中的误差单元的下标。：表示误差：误差矩阵假设，即我们不做任何正则化处理时有反向传播算法1.获得训练集2.对所有的 i j l初始化3.对训练集数据i=1：m（1）设置a1 = x(i,:)（...

展开参数梯度检验

使用神经网络时的步骤：选择网络结构选择网络结构，即决定选择多少层以及决定每层分别有多少个单元。第一层的单元数即我们训练集的特征数量。最后一层的单元数是我们训练集的结果的类的数量。如果隐藏层数大于1，确保每个隐藏层的单元个数相同，通常情况下隐藏层单元的个数越多越好。我们真正要决定的是隐藏层的层数和每个中间层的单元数。训练神经网络：参数的随机初始化利用正向传播方法计算所有的 编写计算代价函数 J的代码...

function [J grad] = nnCostFunction(nn_params, ... input_layer_size, ... hidden_layer_size, ... ...

function sim = gaussianKernel(x1, x2, sigma)%RBFKERNEL returns a radial basis function kernel between x1 and x2% sim = gaussianKernel(x1, x2) returns a gaussian kernel between x1 and x2% and r...

function [C, sigma] = dataset3Params(X, y, Xval, yval)%DATASET3PARAMS returns your choice of C and sigma for Part 3 of the exercise%where you select the optimal (C, sigma) learning parameters to us...

function word_indices = processEmail(email_contents)%PROCESSEMAIL preprocesses a the body of an email and%returns a list of word_indices % word_indices = PROCESSEMAIL(email_contents) preprocesse...

function x = emailFeatures(word_indices)%EMAILFEATURES takes in a word_indices vector and produces a feature vector%from the word indices% x = EMAILFEATURES(word_indices) takes in a word_indices...

function idx = findClosestCentroids(X, centroids)%FINDCLOSESTCENTROIDS computes the centroid memberships for every example% idx = FINDCLOSESTCENTROIDS (X, centroids) returns the closest centroids...

function centroids = computeCentroids(X, idx, K)%COMPUTECENTROIDS returns the new centroids by computing the means of the %data points assigned to each centroid.% centroids = COMPUTECENTROIDS(X,...

function [U, S] = pca(X)%PCA Run principal component analysis on the dataset X% [U, S, X] = pca(X) computes eigenvectors of the covariance matrix of X% Returns the eigenvectors U, the eigenval...

function Z = projectData(X, U, K)%PROJECTDATA Computes the reduced data representation when projecting only %on to the top k eigenvectors% Z = projectData(X, U, K) computes the projection of % ...

以四类分类为例：输入向量有三个维度，两个中间层，输出层4个神经元分别用来表示4类，也就是每一个数据在输出层都会出现，且中仅有一个为1，表示当前类。下面是该神经网络的可能结构示例：输出结果可能为四种可能情形之一...

模型表示逻辑回归模型：神经网络模型：其中, , 是输入单元（input units），我们将原始数据输入给它们。 , , 是中间单元，它们负责将数据进行处理，然后呈递到下一层。 最后是输出单元，它负责计算。神经网络模型是许多逻辑单元按照不同层级组织起来的网络，每一层的输出变量都是下一层的输入变量。下图为一个3层的神经网络，第一层成为输入层（Input Layer），最后一层称为输出层（Output...

function [J, grad] = costFunctionReg(theta, X, y, lambda)%COSTFUNCTIONREG Compute cost and gradient for logistic regression with regularization% J = COSTFUNCTIONREG(theta, X, y, lambda) computes t...

1.乘积A * C2.点乘A.*B将矩阵A中的元素点乘B中的对应元素相乘A.^2对矩阵A中的每一个元素平方1./A得到每一个元素的倒数 3.log(A)对每个元素进行求对数运算 4.exp(A)自然数e的幂次运算，就是以e为底，以这些元素为幂的运算 5.abs(A)对矩阵的每一个元素求绝对值6.-A对矩阵每个元素求相反数7.矩阵每个元素+1三种方法A+1A+ones(size(A,1),size(...

正规方程是通过求解下面的方程来找出使得代价函数最小的参数的：假设我们的训练集特征矩阵为X(包含了 ）并且我们的训练集结果为向量 y，则利用正规方程解出向量:                                                                                         **********例：正规方程推导过程参考：https://b...

1.数学运算注：% 在octave中是注释符号+、-、*、/、^2.逻辑操作==、~=、&&、||、XOR注意，不等于符号的写法是这个波浪线加上等于符号 ( ~= )3.打印（2）直接打印设置a等于圆周率 ，如果我要打印该值，那么只需键入a像这样就打印出来了。注：在赋值语句最后加入";"号，即可不打印输出。（2）DISP对于更复杂的屏幕输出，可以用DISP命令显示（3）标准化输出（...

1.size构建A=[1 2;3 4;5 6]size(A)返回A矩阵的行列数，一个3行2列的矩阵size(size(A)):返回size(A)的大小，size(A)是一个1行2列的矩阵size(A,1):返回矩阵A第一个维度尺寸，即行数：3同理，size(A,2):返回矩阵的第二个维度尺寸，即列数：22.length如果你有一个向量 ，...

机器学习定义1.Arthur Samuel的定义在进行特定编程的情况下， 给予计算机学习能力的领域。2.Tom Mitchell的定义一个程序被认为能从经验E中学习，解决任务 T，达到 性能度量值P，当且仅当，有了经验E后，经过P评判， 程序在处理 T 时的性能有所提升。例：我们假设您的电子邮件程序会观察收到的邮件是否被你标记 为垃圾邮件。在这种Email客户端中，你点击“垃圾邮件”按钮 报告某些...

监督学习监督学习中，对于数据集中的每个数据都有相应的正确答案（训练集），算法就是基于这些来做出预测。1.回归问题：通过回归来预测一个连续值输出例：你有一堆货物的清单。 假设一些货物有几千件可卖， 你想预测出，你能在未来三个月卖出多少货物。2.分类问题 ：目标是预测离散值输出。例：你有很多用户， 你打算写程序来检查每个用户的帐目。 对每个用户的帐目， 判断这个帐目是否被攻击过。...

m ：表示训练样本的数目(x, y)：表示一个训练样本(x(i), y(i)) :表示第i个训练样本h(hypothesis)：function h : X → Y so that h(x)

梯度下降：用来求函数最小值的算法，使用梯度下降算法来求出代价函数的最小值。梯度下降思想是：开始时我们随机选择一个参数的组合 ，计算代价函数，然后我们寻找下一个能让代价函数值下降最多的参数组合。我们持续这么做直到到到一个局部最小值（local minimum），因为我们并没有尝试完所有的参数组合，所以不能确定我们得到的局部最小值是否便是全局最...

1.plot（x,y）绘制横轴为x变量，纵轴为y变量的图例：绘制正弦图2.hold on将新的图像绘制在旧的之上3.xlabel('time') ：标记X轴即水平轴ylabel('value') ：标记垂直轴legend('sin','cos') :将这个图例放在右上方title('myplot'):图像的顶部显示这幅图的标题4.print –dpng 'myplot.png' 将绘制出来的图像保...

1.for endfor循环，i从1至10，循环for i=1:10 do somethingend通过设置你的 indices (索引) 等于 1一直到10，来做到这一点。这时indices 就是一个从1到10的序列。2.break continuebreak:退出循环continue：退出此次循环3.while endwhile i<5 do something...

function J = computeCost(X, y, theta)%COMPUTECOST Compute cost for linear regression% J = COMPUTECOST(X, y, theta) computes the cost of using theta as the% parameter for linear regression to fi...

function [theta, J_history] = gradientDescent(X, y, theta, alpha, num_iters)%GRADIENTDESCENT Performs gradient descent to learn theta% theta = GRADIENTDESCENT(X, y, theta, alpha, num_iters) update...

分类问题逻辑回归算法性质：它的输出值永远在0到 1 之间。实质：分类算法，适用于标签y值取值离散的情况。假说表示根据线性回归模型我们只能预测连续的值，然而对于分类问题，我们需要输出0或1，我们可以预测：当时，预测y = 1；当 时，预测y= 0；逻辑回归假设模型其中：对于给定的输入变量，根据选择的参数计算输出变量=1的可能性函数图像如下图：取值在（0，1）之间，更贴合于分类问题。例:如果对于给定的...

过拟合的问题第一个模型是一个线性模型，欠拟合，不能很好地适应我们的训练集；第三个模型是一个四次方的模型，过于强调拟合原始数据，而丢失了算法的本质：预测新数据。我们可以看出，若给出一个新的值使之预测，它将表现的很差，是过拟合。过拟合问题解决办法：1.减少特征项1）手工选择2）使用一些模型选择算法（PCA）2.正则化保留所有的特征，但是减少参数的大小代价函数：正则化参数其中，不惩罚过大：把所有的参数都...

function g = sigmoid(z)%SIGMOID Compute sigmoid function% g = SIGMOID(z) computes the sigmoid of z.% You need to return the following variables correctly g = zeros(size(z));% ================...

function [J, grad] = costFunction(theta, X, y)%COSTFUNCTION Compute cost and gradient for logistic regression% J = COSTFUNCTION(theta, X, y) computes the cost of using theta as the% parameter f...

function p = predict(theta, X)%PREDICT Predict whether the label is 0 or 1 using learned logistic %regression parameters theta% p = PREDICT(theta, X) computes the predictions for X using a % t...

function X_rec = recoverData(Z, U, K)%RECOVERDATA Recovers an approximation of the original data when using the %projected data% X_rec = RECOVERDATA(Z, U, K) recovers an approximation the % o...