本文介绍了线性网络的基础，包括线性回归的原理与求解，以及softmax分类器的理论与损失函数。线性回归通过最小化平方损失找到最优解，而softmax分类器利用交叉熵损失进行多分类。文章还探讨了梯度下降法、学习率的选择以及小批量随机梯度下降等优化方法。
线性网络
线性回归
-
例子：
美国房价问题。假设房间个数、卫生间个数和居住面积分别为x1,x2,x3x_1, x_2, x_3x1,x2,x3，那么就有一个成交价yyy与该三个变量之间的线性关系y=ω1x1+ω2x2+ω3x3+by=\omega_1x_1+\omega_2x_2+\omega_3x_3+by=ω1x1+ω2x2+ω3x3+b存在。
那么我们做普适性假设，假设影响因素有x⃗=[x1,x2,…,xn]T\vec x =[x_1, x_2, \dots, x_n]^Tx=[x1,x2,…,xn]T，修正设为ω⃗=[ω1,ω2,…,ωn]\vec\omega=[\omega_1, \omega_2, \dots, \omega_n]ω=[ω1,ω2,…,ωn]，那么有y=⟨x⃗,ω⃗⟩+by=\langle \vec x,\vec\omega\rangle+by=⟨x,ω⟩+b。
引入平方损失：l(y,y^)=12(y−⟨x⃗,ω⃗⟩−b)2l(y,\hat y)=\frac{1}{2}(y-\langle \vec x, \vec \omega\rang-b)^2l(y,y^)=21(y−⟨x,ω⟩−b)2。
我们基于样本对该线性关系进行学习。
X=[x⃗1,x⃗2,…,x⃗n]Ty=[y1,y2,…,yn]T \rm\bold X=\left[\vec x_1,\vec x_2, \dots, \vec x_n\right]^T\\ \rm\bold y=\left[y_1, y_2, \dots, y_n\right]^T X=[x1,x2,…,xn]Ty=[y1,y2,…,yn]T
∴\therefore∴
l(X,y,w,b)=12n∑i=1n(yi−⟨xi,w⟩−b)2=12n∣∣y−⟨X,w⟩−b∣∣2为简化算式作以下替换[w]←[wb][XT]←[XT,1]=12n∣∣y−⟨X,w⟩∣∣2 \begin{aligned} l(\rm\bold X,\rm\bold y, \rm\bold w, b) &= \frac{1}{2n} \sum\limits _{i=1}^{n} \left(y_i-\lang\rm\bold x_i, \rm\bold w\rang - b\right)^2 \\ &=\frac{1}{2n}||\rm\bold y-\lang \rm\bold X, \rm\bold w\rang - b||^2 \\ &为简化算式作以下替换\\ &\left[\rm\bold w\right]\leftarrow\left[\begin{matrix}\rm\bold w \\ b\end{matrix}\right]\quad \left[\rm\bold X^T\right]\leftarrow[\begin{matrix}\rm\bold X^T, 1\end{matrix}]\\ &=\frac{1}{2n}||\rm\bold y-\lang \rm\bold X, \rm\bold w\rang||^2\\ \end{aligned} l(X,y,w,b)
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
