LS_Ai的博客

动量法通过在梯度下降中引入动量项，能够加速收敛，并减少更新过程中的震荡。这使得动量法在许多优化问题中表现出色，尤其是在复杂函数的优化中。通过直观的图形展示，我们可以更好地理解动量法的优化过程和效果。

矩阵乘法是线性代数中的一个基本运算，它涉及到两个矩阵的点积运算。给定两个矩阵A（m×n）和B（n×p），它们的乘积C（m×p）定义为：其中， Cij 是结果矩阵 C 中第 i 行第 j 列的元素， Aik 和 Bkj 分别是矩阵 A 和 B 中对应的元素。

粒子群优化是一种基于群体智能的全局优化算法，通过模拟粒子群体的搜索行为来找到最优解。

粒子群优化算法（PSO）是一种基于群体智能的随机搜索算法，由Kennedy和Eberhart在1995年提出。该算法模拟了鸟群觅食的群体行为，通过粒子间的协作与竞争来寻找问题的最优解。在PSO中，每个粒子代表问题的一个潜在解，并在解空间中移动以寻找最优解。PSO算法将求解问题的搜索空间比作鸟类的飞行空间，每只鸟被抽象成一个没有质量和体积的粒子，用粒子的位置来表征问题的一个可能解。

小批量梯度下降法 (Mini-Batch Gradient Descent, MBGD) 是梯度下降法的一种变体。与批量梯度下降法 (Batch Gradient Descent) 和随机梯度下降法 (Stochastic Gradient Descent, SGD) 不同，小批量梯度下降法在每次迭代中使用一个小批量 (mini-batch) 样本的数据来更新参数。这样既可以减少计算开销，又能够更稳定地更新参数。

SGD 是梯度下降法的一种变体。与批量梯度下降法不同，SGD 在每次迭代中仅使用一个样本（或一个小批量样本）的梯度来更新参数。它能更快地更新参数，并且可以更容易地跳出局部最优解。

m = len(y)m = len(y)# 每100次迭代打印一次成本print(f"迭代次数: {iteration}, 成本: {cost:.2f}")

梯度下降法（Gradient Descent, 简称GD）是一种一阶最优化算法，也称为最陡下降法。其核心思想是通过迭代搜索找到函数的局部极小值点。在机器学习中，梯度下降法常用于求解损失函数的最小值，从而确定模型的参数。