8、神经网络参数初始化与优化策略

神经网络参数初始化与优化策略

1. 网络参数初始化方法

在构建神经网络时，参数的初始化方式对模型的性能和收敛速度有着重要影响。以下介绍几种常见的初始化方法：
- 零初始化 ：零初始化是将权重参数都设置为零。然而，这种方法无法打破神经元之间的对称性，使得每个神经元都进行相同的计算，最终无法找到决策边界。以下是相关代码示例：

x_min <- min(testX[, 1]) - 0.2
x_max <- max(testX[, 1]) + 0.2
y_min <- min(testX[, 2]) - 0.2
y_max <- max(testX[, 2]) + 0.2
grid <- as.matrix(expand.grid(seq(x_min, x_max, by = step), seq(y_min, y_max, by = step)))
Z <- predict_model(init_zero$parameters, t(grid), hidden_layer_act = "relu", output_layer_act = "sigmoid")
Z <- ifelse(Z == 0, 1, 2)
g2 <- ggplot() + geom_tile(aes(x = grid[, 1], y = grid[, 2], fill = as.character(Z)), alpha = 0.3, show.legend = F) +
  geom_point(data = test_data, aes(x = x, y = y, color = as.