飘渺天山雪正消-优快云博客

原创 NNDL 作业13 优化算法3D可视化

Momentum的速度较快，但在某些问题上可能会出现不稳定的情况，特别是当梯度变化很大时。RMSprop也是一种自适应学习率的优化算法，其轨迹相对平滑，在具有平坦或弯曲梯度的情况下效果更好。轨迹：SGD的轨迹比较不稳定，由于每次更新仅使用一个样本的梯度，可能会在最小值周围抖动，难以跳出局部最小值。速度：Momentum的速度较快，但在某些问题上可能会出现不稳定的情况，特别是当梯度变化很大时。速度：AdaGrad的速度较快，但学习率会随着时间的推移递减得比较快，可能导致收敛过早。

2023-12-29 05:42:18 922 1

原创 NNDL 作业12 优化算法2D可视化

首先η为初始学习率，这里的 ϵ是为了数值稳定性而加上的，因为有可能 s 的值为 0，那么 0 出现在分母就会出现无穷大的情况，通常 ϵ 取 10的负10次方，这样不同的参数由于梯度不同，他们对应的 s 大小也就不同，所以上面的公式得到的学习率也就不同，这也就实现了自适应的学习率。我们使用自适应的学习率就可以帮助算法在梯度大的参数方向减缓学习速率，而在梯度小的参数方向加快学习速率，这就可以促使神经网络的训练速度的加快。不出预料，作为深度学习中使用的更强大和有效的优化算法之一，它非常受欢迎。

2023-12-25 06:41:01 940

原创 NNDL 作业11 LSTM

推导中参数的梯度，并分析其避免梯度消失的效果LSTM网络的参数梯度计算过程可以分为两个步骤：前向传播和反向传播。前向传播遗忘门（Forget Gate）： f_t输入门（Input Gate）： i_t新的候选细胞状态（New Candidate Cell State）： C_t~细胞状态（Cell State）更新： C_t输出门（Output Gate）： O_t隐藏状态（Hidden State）更新： h_t反向传播又有：△ct=ot+1⊙[1−tanh2(ct+1)]所以。

2023-12-18 21:57:00 454 1

原创 NNDL 作业10 BPTT

习题6-1P 推导RNN反向传播算法BPTT.初始化参数：对RNN模型的参数进行初始化。前向传播计算隐藏状态：从输入序列的第一个时间步开始，逐步计算每个时间步的隐藏状态。隐藏状态是RNN模型中的关键部分，它通过将当前时间步的输入与前一个时间步的隐藏状态进行计算，来传递信息并捕捉序列中的上下文信息。前向传播计算输出：基于每个时间步的隐藏状态，计算当前时间步的输出。计算损失：将模型预测的输出与真实标签进行比较，计算损失函数来衡量模型预测的准确程度。

2023-12-10 16:35:58 1092 2

原创 NNDL 作业9 RNN - SRN

1. 实现SRN（1）使用Numpy（2）在1的基础上，增加激活函数tanh（3）使用nn.RNNCell实现（4）使用nn.RNN实现2. 实现“序列到序列”观看视频，学习RNN原理，并实现视频P12中的教学案例seqLen:每个句子所含词的个数batchSize：每次处理词的批数InputSize：每个词嵌入向量的位数dataset: (seq_size, batch_size, input_size)——>整个数据集维度。

2023-12-05 01:53:19 983 1

原创 NNDL 作业8 卷积导数反向传播

习题5-4 对于一个输入为100 × 100 × 256的特征映射组，使用3 × 3的卷积核，输出为100 × 100 × 256的特征映射组的卷积层，求其时间和空间复杂度．如果引入一个1 × 1卷积核，先得到100 × 100 × 64的特征映射，再进行3 × 3的卷积，得到100 × 100 × 256的特征映射组，求其时间和空间复杂度．。对于矩阵D的第i行第j列元素D(i,j)： D(i, j) = ∑(p, q) ~W(p, q) * rotated_X(i-p+1, j-q+1)

2023-11-28 14:11:49 913

原创 NNDL 作业7 基于CNN的XO识别

通过多通道的设计，神经网络可以更加灵活地处理和表达复杂的数据，从而提高模型的性能和效果。每个通道对应于输入数据的一种特定特征，增加通道数意味着模型可以检测到更多的特征，从而提高模型的表达能力。这样做的好处是减少了网络的参数数量，降低了模型的复杂度，并且可以更好地处理平移不变性的特征。通过在通道维度上进行卷积操作，可以将不同通道的特征信息相互影响和融合，从而生成更加丰富和综合的特征表示。中级特征对应于更加抽象的图像描述，它们可能需要对低级特征进行一定程度的组合和解释，才能够描述图像中的相对复杂的结构信息。

2023-11-13 23:23:01 174

gdx1314520的博客