神经网络与机器学习问题解析-优快云博客

可构建一个两层神经网络，输入层有两个神经元对应输入的两个特征，隐藏层使用ReLU激活函数，输出层使用线性激活函数。

设输入向量为[x₁, x₂]，隐藏层有两个神经元，权重矩阵W₁和偏置向量b₁，输出层权重向量W₂和偏置b₂。

### 隐藏层计算
对于隐藏层第一个神经元，计算：

z₁₁ = W₁₁₁ * x₁ + W₁₂₁ * x₂ + b₁₁

经过ReLU激活得：

a₁₁ = ReLU(z₁₁)


对于隐藏层第二个神经元，计算：

z₁₂ = W₁₁₂ * x₁ + W₁₂₂ * x₂ + b₁₂

经过ReLU激活得：

a₁₂ = ReLU(z₁₂)


### 输出层计算
输出层计算：

z₂ = W₂₁ * a₁₁ + W₂₂ * a₁₂ + b₂


通过调整权重和偏置，如：
- W₁ = [[1, -1], [-1, 1]]
- b₁ = [0, 0]
- W₂ = [1, 1]
- b₂ = -0.5

可使：
- {(0, 0), (1, 1)} 输出为负
- {(1, 0), (0, 1)} 输出为正

从而分离两类。

可以在隐藏层使用非线性激活函数来施加非负性，以模拟非负矩阵分解。例如考虑一个具有单个隐藏层的自编码器，在隐藏层使用 Sigmoid 单元，输出层为线性层。

若 $ U $ 是应用了非线性激活函数 $ \Phi(\cdot) $ 的隐藏层输出，则：

$$
U = \Phi(DW^\top)
$$

如果输出层是线性的，整体分解形式仍为：

$$
D \approx UV^\top
$$

这里可以通过 $ U’ = DW^\top $（$ D $ 的线性投影），将分解写为：

$$
D \approx \Phi(U’)V^\top
$$

这是一种不同类型的非线性矩阵分解。

对于梯度下降更新，由于使用了共享权重，在训练时需要对反向传播算法做一些更改。做法是：

感知机 ：
$ \delta(X, y) = I(y(W \cdot X) < 1) $，其中 $ I(\cdot) $ 是指示函数，当条件满足时取值为 1，否则为 0。
Widrow-Hoff 学习 ：
$ \delta(X, y) = 1 - y(W \cdot X) $。
支持向量机（SVM） ：
$ \delta(X, y) = I(y(W \cdot X) < 1) $，其中 $ I(\cdot) $ 是指示函数，当条件满足时取值为 1，否则为 0。
逻辑回归 ：
对于训练数据，设
$$
\hat{y}_i = P(y_i = 1) = \frac{1}{1 + \exp(-W \cdot X_i)}
$$
$ \delta(X, y) $ 与这个概率相关，表示错误分类的概率。