fire_lch316的博客

在讨论矩阵求导之前，我们先回忆一下为什么要求导。吴恩达的视频中讲到过相关问题，可以将找一个函数的极值看做机器学习的工作，比如下图，当前找到的解对应图中A点(x,f(x))。此时可以求函数在A点的偏导。然后x减去就是更新的下一个位置。就是学习速率。可以看出离极值点越远，偏导的绝对值越大，那么每次移动步长的就更大，这样更快接近极值点。反之，离极值点越近，偏导的绝对值越小，每次移动的步长就更小，这样在求极值点的时候更精确。从上述可以了解到求偏导的作用，就是帮助我们更新参数。因此如果要求一个参数

lrCostFunction.mfunction [J, grad] = lrCostFunction(theta, X, y, lambda)%LRCOSTFUNCTION Compute cost and gradient for logistic regression with %regularization% J = LRCOSTFUNCTION(theta, X, y, lambda) computes the cost of using% theta as the para

sigmoid.mfunction g = sigmoid(z)%SIGMOID Compute sigmoid function% g = SIGMOID(z) computes the sigmoid of z.% You need to return the following variables correctly g = zeros(size(z));% ====================== YOUR CODE HERE ======================

computeCost.m:function J = computeCost(X, y, theta)%COMPUTECOST Compute cost for linear regression% J = COMPUTECOST(X, y, theta) computes the cost of using theta as the% parameter for linear regression to fit the data points in X and y% Initial

p141p142p145p147p149p150p151

p134p135p136p137p138

感觉这节和p51一起看，这节视频主要就是讲了p51伪代码里面那个的求法,以作为计算的参数。

话不多说，先粘上几个比较重要的图 这里有个推导。 因为 那么 ...

这节视频针对这个推了下比较浅显的行列式计算的公式：θ:=θ-α/m﹡X'﹡(X﹡θ-y) 这里假设n=2，即两个特征量。y就是m*1的行列式，X就是m*3的行列式，X'就是3*m的行列式，θ就是3*1的行列式。 首先你看那个h(x)-y不就是每组数据和真实值的差吗，所以自然会想到X﹡θ-y。那么(h(x)-y)x不就是X'﹡(X﹡θ-y)吗，然后就没了。...

这堂课中讲到了线性代数正规求解 θ=pinv(x'﹡x)﹡x'﹡y，有弹幕说这是最小二乘法。 先设这里的x和视频中的维度一致，即n=1，特征数为1，m组数据。那么x就是m*2的一个行列式，x'就是2*m的一个行列式。x'﹡x就是一个2﹡2的行列式，pinv(x'﹡x)也是一个2﹡2的行列式，pinv(x'﹡x)﹡x'是个2*m的行列式，y是m﹡1的行列式，pinv(x'﹡x)﹡x'﹡y就是2﹡1的行列式，即θ为2﹡1的行列式。 现在可以猜想一下，θ不就是x﹡θ=y的解...

视频讲到了要将特征值的范围确定在一个较小的范围，下面的是视频的原图。 先说下这曲线为啥长这样。图的横纵坐标就表示为θ1,θ2.对于其中某个圆J(θ')（θ1,θ2各取得某值时代价一直为J(θ')）。那么当J(θ')变为J(θ'')，变化值为ΔJ。假设θ1不变，那么θ2变化了ΔJ/5(这里考虑极端情况)；假设θ2不变，那么θ1变化了ΔJ/2000(这里考虑极端情况)。很明显ΔJ/5远大于ΔJ/2000，那么图就对应上了。 换个角度看，如下图，可以发现θ1不变时，J(...