softmax 回归
一.介绍
分类问题
- 我们从一个图像分类问题开始。 假设每次输入是一个 2×2 的灰度图像。 我们可以用一个标量表示每个像素值，每个图像对应四个特征 x1,x2,x3,x4 。 此外，假设每个图像属于类别“猫”，“鸡”和“狗”中的一个。
- 如何表示标签:
最直接的想法是选择 y ∈ { 1 , 2 , 3 } y \in \{1, 2, 3\} y∈{ 1,2,3}，
其中整数分别代表 { 狗 , 猫 , 鸡 } \{\text{狗}, \text{猫}, \text{鸡}\} { 狗,猫,鸡}。
如果类别间有一些自然顺序，
比如说我们试图预测 { 婴儿 , 儿童 , 青少年 , 青年人 , 中年人 , 老年人 } \{\text{婴儿}, \text{儿童}, \text{青少年}, \text{青年人}, \text{中年人}, \text{老年人}\} { 婴儿,儿童,青少年,青年人,中年人,老年人}，
那么将这个问题转变为回归问题，并且保留这种格式是有意义的。 - 一般的分类问题并不与类别之间的自然顺序有关。
我们用一种表示分类数据的简单方法：独热编码（one-hot encoding）。 - 独热编码是一个向量，它的分量和类别一样多。
- 类别对应的分量设置为1，其他所有分量设置为0。
- 在我们的例子中，标签 y y y将是一个三维向量，
其中 ( 1 , 0 , 0 ) (1, 0, 0) (1,0,0)对应于“猫”、 ( 0 , 1 , 0 ) (0, 1, 0) (0,1,0)对应于“鸡”、 ( 0 , 0 , 1 ) (0, 0, 1) (0,0,1)对应于“狗”：
y ∈ { ( 1 , 0 , 0 ) , ( 0 , 1 , 0 ) , ( 0 , 0 , 1 ) } . y \in \{(1, 0, 0), (0, 1, 0), (0, 0, 1)\}. y∈{ (1,0,0),(0,1,0),(0,0,1)}.
网络架构
o 1 = x 1 w 11 + x 2 w 12 + x 3 w 13 + x 4 w 14 + b 1 , o 2 = x 1 w 21 + x 2 w 22 + x 3 w 23 + x 4 w 24 + b 2 , o 3 = x 1 w 31 + x 2 w 32 + x 3 w 33 + x 4 w 34 + b 3 . \begin{aligned} o_1 &= x_1 w_{11} + x_2 w_{12} + x_3 w_{13} + x_4 w_{14} + b_1,\\ o_2 &= x_1 w_{21} + x_2 w_{22} + x_3 w_{23} + x_4 w_{24} + b_2,\\ o_3 &= x_1 w_{31} + x_2 w_{32} + x_3 w_{33} + x_4 w_{34} + b_3. \end{aligned} o1o2o3=x1w11+x2w12+x3w13+x4w14+b1,=x1w21+x2w22+x3w23+x4w24+b2,=x1w
最低0.47元/天 解锁文章
扫一扫
315
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
