算法
关注
分享
扫一扫
文章平均质量分 89
黎明鱼儿
简单而不平凡
展开
-
凯利公式：从数学推导到实际应用的全面解析
凯利公式（Kelly Criterion）是一种在独立重复的随机过程中，通过优化下注比例以最大化长期复利增长率的数学策略。其核心为解决在期望收益为正的赌局中，如何分配资金以平衡风险与收益的问题，广泛应用于投资组合管理、赌博理论及信息论领域原创 2025-03-22 13:46:46 · 1358 阅读 · 0 评论 -
搜索高维向量余弦相似度的优化原理+算法实现
本文介绍了一种优化的高维向量余弦相似度搜索算法。首先定义了余弦相似度的概念，然后对比了传统搜索方法和本文提出的优化方法。优化方法基于余弦值与单位向量欧式距离平方的线性负相关关系，通过计算部分维度来间接找到最相似向量。文章还提供了数学原理的详细解释和Java实现的实验程序。原创 2022-01-09 20:57:54 · 2772 阅读 · 0 评论 -
机器学习训练算法一(计算机求任意连续函数的导数计算方法)
本文介绍了使用计算机进行机器学习训练时求导数的两种主要方法：定义法（数值法）和公式法（符号法）。通过具体案例，展示了如何应用这两种方法求简单函数和复合函数的导数，并提供了Matlab和Python的实验代码。文章还讨论了自动求导的思路，包括对黑盒和白盒函数的处理方法，以及如何结合使用不同求导技术。原创 2021-12-19 18:09:43 · 4250 阅读 · 0 评论 -
机器学习训练算法二(搜索任意一元函数的近似根)
本文主要探讨了使用迭代公式搜索一元函数近似根的方法。通过泰勒公式的一阶展开，推导出了迭代公式，并解释了如何通过迭代逼近函数的根。文章还涉及了近似最近邻算法(ANN)、XGBoost等机器学习算法，并对一元函数的微积分基础和导数应用进行了讨论。原创 2021-12-19 21:05:16 · 1045 阅读 · 0 评论 -
机器学习训练算法三(搜索任意一元函数的近似极值点)
本文主要介绍了使用迭代公式搜索一元函数极值点的方法。通过定义一元函数及其一阶导数，利用导数为零的条件，将求极值点问题转化为求导数函数的根。文章提供了迭代公式，并解释了通过迭代可以逼近极值点的过程。同时，还涉及了遗传算法等其他方法在极值点搜索中的应用。原创 2021-12-19 21:34:02 · 864 阅读 · 0 评论 -
机器学习训练算法四(最小二乘问题)
最小二乘法是一种在误差估计、不确定度、系统辨识及预测、预报等数据处理诸多学科领域得到广泛应用的数学工具。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合，其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。原创 2021-12-23 13:32:09 · 1650 阅读 · 2 评论 -
机器学习训练算法五(梯度下降法)
梯度下降法在机器学习中应用十分的广泛，它的主要目的是通过迭代搜索到目标函数的最小值；梯度下降法可以类比为一个下山的过程...原创 2021-12-30 16:59:58 · 708 阅读 · 0 评论 -
机器学习训练算法六(最速下降法)
最速下降法和梯度下降法基本相同,就是选择该点梯度的反方向进行搜索；区别在于梯度下降法需要预先根据经验设定的步长值，而最速下降法则是在求出梯度方向后再搜索得到最优步长。原创 2021-12-31 17:27:22 · 1189 阅读 · 0 评论 -
机器学习训练算法七(牛顿下降法)
通过求解目标函数的一阶导数为0时的参数，进而求出目标函数最小值时的参数。收敛速度很快。海森矩阵的逆在迭代过程中不断减小，可以起到逐步减小步长的效果原创 2022-01-04 21:03:20 · 850 阅读 · 0 评论 -
机器学习训练算法八(阻尼牛顿法)
由于原始牛顿下降法中没有步长因子，对于非二次型目标函数，有时会使函数值上升，这表明原始牛顿下降法不能保证函数值稳定的下降。原创 2022-01-04 21:23:09 · 1649 阅读 · 0 评论 -
机器学习训练算法九(高斯牛顿法)
本文介绍了高斯牛顿法，这是一种针对最小二乘问题的优化算法。文章首先概述了高斯牛顿法的基本概念，然后详细阐述了其数学原理，包括对残差函数的一阶泰勒展开和极值求解过程。最后，提供了Matlab程序的链接，供读者进一步学习和实践。原创 2022-01-09 15:21:38 · 940 阅读 · 0 评论 -
机器学习训练算法十(列文伯格-马夸尔特法(LM 法))
本文详细介绍了列文伯格-马夸尔特算法（LM算法），这是一种用于解决非线性最小二乘问题的优化算法。文章从算法的介绍、数学原理、阻尼因子更新策略、列文伯格方法与马夸尔特方法的区别，到Matlab程序实现，全面阐述了LM算法的理论和应用。LM算法结合了高斯牛顿法的快速局部收敛性和梯度下降法的全局搜索能力，通过引入阻尼因子实现算法的鲁棒性。原创 2022-01-09 18:16:35 · 4268 阅读 · 5 评论 -
机器学习训练算法十一(模型训练算法-Matlab实验)
本文详细介绍了在机器学习中用于模型训练的四种优化算法：梯度下降法、牛顿下降法、高斯牛顿法和列文伯格-马夸尔特法（LM法）。文章首先给出了一个车辆运动模型的最小二乘问题，然后分别对每种算法进行了数学原理推导，并提供了相应的Matlab程序实现。最后，展示了每种算法的执行日志和训练结果，并对这些方法进行了比较。原创 2022-01-09 19:23:44 · 4549 阅读 · 1 评论 -
机器学习训练算法十二(模型训练算法-Python实验)
本文详细介绍了在机器学习中用于模型训练的四种算法：梯度下降法、牛顿下降法、高斯牛顿法和列文伯格-马夸尔特法（LM法）。文章提供了每种算法的数学原理推导，并用Python程序进行实验验证，展示了执行日志和训练结果，最后对这些方法进行了比较。原创 2024-02-19 11:07:37 · 1181 阅读 · 0 评论 -
机器学习训练算法十三(模型训练算法-Tensorflow实验)
本文通过Tensorflow实验，详细探讨了机器学习中模型训练的算法。首先提供了车辆时间和行驶距离的观测数据，然后建立了一个基于这些数据的数学模型，用于描述车辆的初速度和加速度。接着，文章通过三个部分的实验，展示了如何使用Tensorflow进行求导、优化参数，并求解数学模型。实验包括基础的求导示例、两种不同的数学模型求解方法，以及相应的代码实现和日志输出。原创 2024-02-19 18:58:22 · 1312 阅读 · 0 评论 -
机器学习训练算法十三(模型训练算法-PyTorch实验)
本文通过具体的Python代码示例，介绍了使用PyTorch框架进行机器学习模型训练的过程。文章首先提供了车辆行驶数据，然后建立了相应的数学模型，并通过PyTorch实验，展示了如何利用梯度下降法求解模型参数。文中详细列出了求导、模型定义、损失函数计算、优化器使用等步骤，并提供了两种不同的方法来求解数学模型，最后展示了模型训练过程中的日志输出和优化后的参数值。原创 2024-07-25 14:52:46 · 717 阅读 · 0 评论