Simple丶

假设函数表示y ∈ {0, 1}，因变量y只有0，1两种取值， 为此改变假设函数的形式，使假设函数hθ(x)hθ(x)h_\theta (x)满足0≤hθ(x)≤10≤hθ(x)≤10 \leq h_\theta (x) \leq 1hθ(x)=g(θTx)z=θTxg(z)=11+e−zhθ(x)=g(θTx)z=θTxg(z)=11+e−z\begin{align*}& h_\the...

代价函数变量定义 LLL：神经网络的总层数 slsls_l：第lll层的单元（神经元）数量 KKK：输出层的单元数量 逻辑回归的代价函数（正则化） 神经网络的代价函数 J(Θ)=−1m∑i=1m∑k=1K[y(i)klog((hΘ(x(i)))k)+(1−y(i)k)log(1−(hΘ(x(i)))k)]+λ2m∑l=1L−1∑i=1sl∑j=1sl+1(Θ(l)j...

模型表示简单的神经网络表示 ⎡⎣⎢x1x2x3⎤⎦⎥→[   ]→hθ(x)[x1x2x3]→[   ]→hθ(x)\begin{bmatrix}x_1 \newline x_2 \newline x_3 \newline \end{bmatrix}\rightarrow\begin{bmatrix}\ \ \ \newline...

欠拟合(underfitting)高偏差（high bias），曲线不能很好的拟合训练数据。过拟合(overfitting)高方差（high variance），通常因为过多的特征导致，曲线能够很准确的拟合训练数据，但是不能泛化到新的数据。解决过拟合问题的方法减少特征变量数目 人工选择保留的特征、模型选择算法正则化 保留所有特征，但降低θjθj...

多元变量梯度下降}repeat until convergence:{θ0:=θ0−α1m∑i=1m(hθ(x(i))−y(i))⋅x(i)0θ1:=θ1−α1m∑i=1m(hθ(x(i))−y(i))⋅x(i)1θ2:=θ2−α1m∑i=1m(hθ(x(i))−y(i))⋅x(i)2⋯repeat until convergence:{θ0:=θ0−α1m∑i=1m(hθ(x(i))−y(i...