YYY_77的博客

深入浅出梯度下降算法背后的数学原理0 前言1 什么是梯度？2 梯度下降是如何工作的？2.1 从生活中的一个小例子讲起2.2 什么是成本函数2.3 如何最小化成本函数2.4 什么是梯度下降2.5 成本函数的数学解释3 学习率4 如何确保梯度下降能够正常工作5 梯度下降算法的python实现6 梯度下降的类型6.1 批量梯度下降6.2 随机梯度下降6.3 小批量梯度下降0 前言梯度下降是一种在训练机器学习模型时使用的优化算法，它基于凸函数并迭代调整其参数以将给定函数最小化到其局部最小值。什么是梯度下降？

如何选择优化算法0 前言1 优化算法2 可微的目标函数2.1 Bracketing Algorithms2.2 Local Descent Algorithms2.3 First-Order Algorithms2.4 Second-Order Algorithms3 不可微的目标函数3.1 Direct Algorithms3.2 Stochastic Algorithms3.3 Population Algorithms4 summary0 前言优化是找到目标函数一组输入的问题，这是机器学习算

[机器学习] 梯度下降优化算法前言常见的梯度下降优化算法Gradient DescentStochastic Gradient Descent (SGD)SGD with momentumAdaptive Gradient (AdaGrad)RMSpropAdam什么是机器学习中最佳优化算法前言为什么需要更好的优化算法？在训练神经网络模型中，通常需要定义一个损失函数来衡量我们模型的预测结果和标签之间的差异。θi←θi−η▽θiL(θ)\theta _{i}\gets \theta _{i} - \

奇异值分解SVD什么是奇异值分解SVD的特征向量SVD定义应用什么是奇异值分解SVD是一种矩阵分解算法，在某些情况下，矩阵具有特定的结构，如果矩阵中有规则或简单的结构，那么分解矩阵将是有意义的。先看以下几个例子：例子1.以下是一个所有元素值都相等的矩阵A=(111111111111111111111111111111111111)A=\begin{pmatrix}1 &1 &1 &1 &1 &1 \\ 1 &1 &1 &amp

文章目录机器学习基础的线性代数举个栗子统计领域的线性代数矩阵和图像机器学习基础的线性代数在机器学习中，大多数数据通常表示为向量、矩阵或张量，因此机器学习在很大程度上依赖于线性代数。先了解下向量、矩阵和张量：向量是一维数组，具有大小和方向矩阵是二维数组，具有固定的行和列，一般用方括号[ ]表示张量是向量和矩阵的推广，比如一维张量是一个向量，二维张量是一个矩阵，RGB图像是三维张量，当然还可以扩展到四维张量以及更高维等描述矩阵的一些基本术语有：（如下图所示）方阵：nxn，即行数等于列数对角

文章目录简介PCA原理基础概念PCA思想summary简介通常来说，数据是机器学习PCA原理基础概念PCA思想summary

文章目录前言1.min-max归一化2.Z-score归一化前言在医学图像领域，由于不同设备的采集、成像因素等原因造成相同的组织在图像灰度信息上的不一致，图像归一化就是在保留具有诊断价值的灰度差异的同时，减小甚至消除图像中灰度不一致而进行的图像转换方法，图像的归一化更有利于计算机自动分析处理。因此，图像归一化就是通过一系列的变换，将待处理的原始图像转换成相应的标准形式。下面将介绍两种常见的归一化方法，并展示相应的python代码。1.min-max归一化通过遍历图像矩阵中的每一个像素，设定max和

文章目录1 统计学习及监督学习1.1 统计学习1.2 统计学习的分类1.3 统计学习方法的三要素1.4 模型估计与模型选择1.5 正则化与交叉验证1.6 泛化能力1.7 生成模型与判别模型1.8 监督学习应用1 统计学习及监督学习1.1 统计学习定义：是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。通俗易懂地说，统计学习是运用一系列工具对数据进行分析建模，因此它研究的对象是数据，研究目的是预测与分析。即从数据出发，提取数据的特征，抽象出数据模型，发现数据中的知识，又回到