4、深度学习与机器学习的关键技术及趋势

深度学习与机器学习的关键技术及趋势

1. 深度学习优化

1.1 梯度消失问题

在反向传播算法中，当无法将网络误差传播到初级层以更新权重时，就会出现梯度消失问题。在反向传播过程中，梯度从输出层向输入层反向传播，这导致早期隐藏层的学习速度比后期隐藏层慢得多。早期层只能接收到梯度的一小部分（梯度消失），不过在某些情况下，梯度在反向传播时会变大（梯度爆炸）。

1.2 超参数调整

为了系统地搜索最优超参数值，已经应用了多种算法，如蒙特卡罗算法和遗传算法。这些算法有助于找到权重和学习率等超参数的最佳值。

1.3 深度学习优化技术

深度学习中有许多优化技术，例如随机梯度下降（SGD）和小批量梯度下降。以下是梯度下降、随机梯度下降和小批量梯度下降的比较：
| 标准 | 梯度下降 | 随机梯度下降（SDG） | 小批量梯度下降 |
| ---- | ---- | ---- | ---- |
| 使用的数据集大小 | 整个数据集 | 随机子集 | 固定大小子集 |
| 计算成本 | 昂贵 | 较低 | 较低 |
| 收敛性 | 慢 | 快 | 快且比 SDG 更稳定 |
| 局部最小值 | 可能陷入 | 可以逃离 | 可以逃离，且比 SDG 噪声小 |
| 全局最小值 | 更可靠 | 不太可靠，但更高效 | 不太可靠，但更高效 |

2. 机器学习中的不同距离度量

2.1 欧几里得距离

欧几里得距离表示两个向量之间的最短距离，它是对应元素差值平方和的平方根。

2.2 曼哈顿