LilyZJ的博客

拉格朗日函数用来求解等式约束的最优化问题；广义拉格朗日函数用来求解不等式约束的最优化问题。无约束优化问题关于优化问题包括无约束优化问题，等式约束优化问题，不等式约束优化问题。这里简略地介绍一下无约束优化问题。（以后再来填坑。）考虑无约束优化问题：min⁡xf(x)\min \limits_{x} f(x)xmin​f(x)根据Fermat定理，直接找到使得∇xf(x)=0\nabla_...

机器学习第2章 模型评估与选择第2章 模型评估与选择错误率（error rate）精度（accuracy）训练误差/经验误差（training error）泛化误差（generalization error）过拟合（overfitting）：将训练集自身的特点当作样本的一般性质学习到了，导致泛化性能下降。欠拟合（underfitting）：未能学好样本的一般性质。...

机器学习知识点总结SVMSVM二分类模型：特征空间上间隔最大的线性分类器学习目标：在n维数据空间中找到一个超平面学习策略：最大化间隔分类超平面：f(x)=wTx+bf(x)=w^Tx+bf(x)=wTx+b, f(x)f(x)f(x)小于0对应于y=−1y=-1y=−1的数据点，f(x)f(x)f(x)大于0对应于y=1y=1y=1的数据点，f(x)=0f(x)=0f(x)=0对应于超...

感知器感知器感知器定义感知器模型：f(x)=sign(w⋅x+b)f(x)=sign(w \cdot x+b)f(x)=sign(w⋅x+b)其中signsignsign为符号函数，即当w⋅x+b>0w \cdot x+b >0w⋅x+b>0时f(x)=1f(x)=1f(x)=1；当w⋅x+b<0w \cdot x+b<0w⋅x...

参考资料：[1] L0、L1与L2范数、核范数

参考资料：[1] 奇异值分解(SVD)原理与在降维中的应用 [2] 矩阵奇异值分解（详解）[3] 奇异值分解（SVD）原理

bagging and boostingbaggingboostingAdaboostbagging基于数据随机重抽样的分类器构建方法。首先基于原始数据集随机重抽样获取sss个与原始数据集同样大小的新数据集（即原始数据集中的样本在新数据集中可能出现多次，也可能不出现）。然后利用同一种基分类器获得sss个分类器。测试数据根据sss个分类器结果的大多数投票获得最终的分类结果。特点：基于一种基分类...

参考资料：图文并茂的PCA教程

机器学习（二）第5章 神经网络感知机与多层前馈神经网络反向传播算法第5章 神经网络神经元感知机多层前馈神经网络BP算法感知机与多层前馈神经网络感知机由两层神经元组成，但只有输出神经元进行激活函数处理，即只拥有一层功能神经元，感知机只能处理线性可分问题，且若线性可分，则感知机的学习过程一定会收敛。为了解决非线性可分问题，需要使用多层功能神经元。反向传播算法缓解BP网络的过拟合...