9、神经网络参数更新与优化方法详解

神经网络参数更新与优化方法详解

在神经网络的训练过程中，优化是一个至关重要的环节，其核心目标是找到代价函数的最小值。一旦在反向传播过程中计算出梯度，就可以利用这些梯度来更新参数。下面将详细介绍几种常见的参数更新方法。

1. 梯度下降中的小批量处理

在梯度下降算法中，当批量大小不能被小批量大小整除时，需要特殊处理最后一个小批量。以下是相应的代码实现：

# If the batch size does not divide evenly with mini batch size
if(m %% mini_batch_size != 0){
  # Set the start and end of last batch
  start = floor(m / mini_batch_size) * mini_batch_size
  end = start + m %% mini_batch_size
  mini_batch_X = shuffled_X[, (start + 1):end]
  mini_batch_Y = shuffled_Y[(start + 1):end]
  mini_batch_last = list("mini_batch_X" = mini_batch_X,
                         "mini_batch_Y" = mini_batch_Y)
  mini_batches[[batch + 1]] <- c(mini_batch, mini_batch_last)
}
return(mini_batches)

这段代码的作用是确保所有