昊大侠的博客

模型复杂度通常是指前向过程的计算量（反映模型所需要的计算时间）和参数个数（反映模型所需要的计算机内存空间）用于评价模型运行效率高低

语义分割结合了图像分类、目标检测和图像分割，通过一定的方法将图像分割成具有一定语义含义的区域块，并识别出每个区域块的语义类别，实现从底层到高层的语义推理过程，最终得到一幅具有逐像素语义标注的分割图像。设计损失函数想要达到的目标是损失与梯度同步变化，求导自变量定义为神经网络的最后一层带权重层的输出。当学习率恒定时，希望当预测结果远离真实值时，损失大，梯度大；当预测结果靠近真实值时，损失小，梯度小最常用损失函数是像素级别的交叉熵损失 (cross entropy loss，ce)，逐个检查每个像素，将对每个像素

文章目录优化算法凸性凸集凸函数凸函数的局部极小值凸函数的下水平集凸性和二阶导数詹森不等式约束拉格朗日函数惩罚投影小结梯度下降算法一维梯度下降多元梯度下降自适应方法牛顿法收敛性分析梯度预处理线搜索随机梯度下降随机梯度更新凸目标的收敛性分析小批量随机梯度下降向量化和缓存小批量总结启发式算法优化算法在机器学习中通常会先定义损失函数，一旦我们有了损失函数，就可以使用优化算法来尝试最小化损失。在优化中，损失函数通常被称为优化问题的目标函数优化提供了一种最大限度地减少机器学习损失函数的方法，但实质上两者的目标是不

文章目录机器学习机器学习方法定义监督学习分类多类分类多标签分类多输出-多类分类多任务分类无监督学习强化学习机器学习机器学习方法定义根据学习时使用的信号的性质可将机器学习分为监督学习、无监督学习和强化学习监督学习学习时，给机器提供输入数据所需的输出数据的示例即标签，信号是输出数据的反馈，目标是学习将输入映射到输出的一般规则，思想是归纳监督学习的类型有分类与回归当输出被限制为一组有限的值时，使用分类算法，当输出可能具有某个范围内的任何数值时，使用回归算法分类量化观察结果为解释变量或

机器学习文章目录机器学习正态分布离散分布正态分布正态分布 (Normal Distribution) 也称常态分布或正常分布，其概率密度函数为 f(x)=1σ2πe−12(x−μσ)2f(x)={\frac {1}{\sigma {\sqrt {2\pi }}}}e^{-{\frac {1}{2}}\left({\frac {x -\mu }{\sigma }}\right)^{2}}f(x)=σ2π​1​e−21​(σx−μ​)2，标准正态分布即高斯分布为 μ=1,  σ2=0,  f(x)=12π

机器学习文章目录机器学习大数定律中心极限定理大数定律大数定律分为强大数定律和弱大数定律，前者关于的独立性、异质性（同分布）和矩条件（均值与方差，在统计工作中描述集中趋势和离散程度的两个最重要的测度值）的约束条件强于后者。大数定律表明，随着样本数的增大，可以用样本均值来估计总体均值独立同分布独立代表样本是独立的事件即实验中一个事件的发生不会影响到另一事件发生。例如 A、BA、BA、B 是两个事件，满足 P(A∩B)=P(AB)=P(A)P(B)P(A ∩ B) = P(AB) = P(A)P(

研究生的第一年的时间一直做着机器学习中深度学习的应用研究，俗称炼丹。在这期间遇到了很多令我困扰的问题，快开学了的日子里偶然看见B站王木头学科学UP主的视频，我发现一个很棒的视角，恰好又逮到了空闲的时间，于是开始打算从头梳理一遍曾经的问题。