19、用人工神经网络预测股票价格

用人工神经网络预测股票价格

1. 神经网络基础

1.1 输出层与反向传播

在神经网络中，假设输出层有一个输出单元（用于回归或二元分类），连接隐藏层和输出层的权重矩阵 $W^{(2)}$ 大小为 $H \times 1$。在回归问题中，输出可以用数学公式表示为：$a^{(3)} = f(z^{(3)}) = W^{(2)}a^{(2)}$。

为了获得模型的最优权重 $W = {W^{(1)}, W^{(2)}}$，我们可以使用梯度下降法来最小化均方误差（MSE）成本 $J(W)$。与逻辑回归不同的是，梯度 $\Delta W$ 通过反向传播算法计算。每次前向传播后，会进行一次反向传播来调整模型参数。反向传播的计算是从最后一层开始，逐步向前计算梯度，并且前一层的梯度计算会复用后一层的部分计算结果。

1.2 单层网络的反向传播步骤

在单层网络中，反向传播的详细步骤如下：
1. 前向传播 ：从输入层到输出层，计算隐藏层的输出值 $a^{(2)}$ 和输出层的输出值 $a^{(3)}$。
2. 计算最后一层的误差 ：计算成本函数关于输出层输入的导数：$\delta^{(3)} = \frac{\partial}{\partial z^{(3)}} J(W) = -(y - a^{(3)}) \cdot f’(z^{(3)}) = a^{(3)} - y$。
3. 计算隐藏层的误差 ：计算成本函数关于隐藏层输入的导数：$\delta^{(2)} = \frac{\partial}{\partial z^