赵亮的优快云博客

理解Hinge Loss (折页损失函数、铰链损失函数)Hinge Loss 是机器学习领域中的一种损失函数，可用于“最大间隔(max-margin)”分类，其最著名的应用是作为SVM的目标函数。在二分类情况下，公式如下：L (y) = max(0 , 1 – t⋅y)其中，y是预测值(-1到1之间)，t为目标值(1或 -1)。其含义为，y的值在 -1到1之间即可，并不鼓励|y|>1，即让某个样本能够正确分类就可以了，不鼓励分类器过度自信，当样本与分割线的距离超过1时并不会有任何奖励。目的在

文章目录Adaboost分类算法Adaboost回归算法前向分布算法本文将记录《统计学习方法》中有关提升学习Adaboost的内容。Boosting算法的工作机制是首先从训练集用初始权重训练出一个弱学习器1，根据弱学习的学习误差率表现来更新训练样本的权重，使得之前弱学习器1学习误差率高的训练样本点的权重变高，使得这些误差率高的点在后面的弱学习器2中得到更多的重视。然后基于调整权重后的训练集来训...

文章目录本文记录《统计学习方法》和刘建平大佬的有关GBDT梯度提升树的内容。

文章目录PCA本文将记录有关PCA降维的内容。当样本维度过高但是数据集数量较小时，在训练模型时很容易陷入过拟合，处理过拟合可以采用正则化、增加数据量、降低数据维度。在降低数据维度可以采用的方法有特征选择、线性降维（PCA）、非线性降维（流形）PCA数据集X=(x1,x2,..,xN)TX=(111)X=(x_1,x_2,..,x_N)^T\\X=\left( \begin{array...

文章目录SVDSVD与PCA本文将记录学习刘建平大佬SVD博客的相关内容。SVD在特征值和特征向量分解中，一个N*N的矩阵A可以分解为A=WΣW−1A=W\Sigma W^{-1}A=WΣW−1，其中W矩阵是A矩阵的特征向量组成的标准正交列向量矩阵，Σ\SigmaΣ矩阵是由A矩阵的特征值组成的对角矩阵，由于W矩阵是列向量的标准正交基，则W−1=WTW_{-1}=W^TW−1​=WT由于特征...

LDA https://blog.youkuaiyun.com/tsyccnh/article/details/79163834

文章目录广义瑞利商线性判别分析多类别LDA降维LDA和PCA本文将记录有关LDA线性判别分析的内容。广义瑞利商定义瑞丽商函数f(x)=xTAxxTxf(x) = \frac{x^TAx}{x^Tx}f(x)=xTxxTAx​其中A矩阵的共轭转置矩阵和自己相等及AH=AA^H=AAH=A,如果A矩阵为实数矩阵的话，那么AT=AA^T=AAT=A,广义瑞利商的最大值和最小值在矩阵A的最大最小...

文章目录ML_KNN需要的数学定义：ML_KNN需要的数学定义：m为样本总个数；K为最邻近的个数；Y为所有标签的集合，总个数为 n；lll为具体的一个标签，默认为标签 1；X 为一个实例；YxY_xYx​为实例 X所对应的标签集合；Yx{Y_{x}}Yx​ 是实例x 的标签向量，是1n的one-hot行向量，元素所对应的标签若为1，则该实例有标签；N(x) 为实例x的k个最邻...

本文将记录有关决策树的相关内容文章目录决策树分类树回归树剪枝Python实现决策树树模型是在日常工作中使用频率最高的模型之一，因为其较好的模型效果与良好的可解释性经常作为baseline模型使用，在平时使用时经常使用sklearn库使用，最近遇到了一个单子需要完全手动实现决策树相关内容，在此将其记录下来，如果有同学在做相关内容请与我邮件联系zhaoliang19960421@outlook....

文章目录SVM几何间隔和函数间隔间隔最大化硬间隔的对偶形式软间隔最大化本文将记录《统计学习方法》中有关支持向量机的内容。SVM考虑一个二分类问题，在输入空间中数据是线性可分的，那么存在一个超平面wx+b=0，可以将该空间一分为2，将数据分类开，它有法向量w，和截距b决定，规定法向量指向的为正类，另一侧为负类。对于给定的线性可分的数据集，存在无数个超平面可以将数据集分离开，采用间隔最大化的误...

本文将记录《统计学习方法》中有关逻辑回归的内容文章目录线性回归对数线性回归对数几率回归线性回归对于给定的数据集D={x1,y1...xN,yN}D=\{x_1,y_1...x_N,y_N\}D={x1​,y1​...xN​,yN​},其中xi=(xi1,xi2,...,xid)  ;y∈Rx_i=(x_{i1},x_{i2},...,x_{id})\;;y \in...

朴素贝叶斯朴素贝叶斯假设朴素贝叶斯原理算法过程算法小结朴素贝叶斯我们的分类模型中有M个样本，每个样本有N维，输出的类别有C类。 样本例如(X11,X12,X13...X1n,Y1)(X11,X21,X31...Xn1,Y1)(X_1^1,X_2^1,X_3^1...X_n^1,Y_1)(X21,X,2X23...X2n,Y2)(X12,X2,X32...Xn2...

https://www.zybuluo.com/1318525510/note/1160159

利用python进行K_means算法 # -*- coding: UTF-8 -*-import numpyimport randomimport codecsimport reimport matplotlib.pyplot as pltdef calcuDistance(vec1, vec2): # 计算向量vec1和向量vec2之间的欧氏距离 re...

本文记录了在

本文记录了在机器学习中有关感知机的内容，如果有那位小伙伴在做类似的工作，可以和我邮件交流（1318525510@qq.com）#感知机感知机是二分类的线性分类模型，得到一个输入空间中划分为正负两类的超平面：f(x)=sign(wx+b)f(x)= sign(wx+b)f(x)=sign(wx+b)对于输入空间中的数据集{(x1,y1),...,(xn,yn)}\{(x_1,y_1),...,...

python+sklearn实现KNN及KD树算法from sklearn import datasets# 导入内置数据集模块from sklearn.neighbors import KNeighborsClassifier# 导入sklearn.neighbors模块中KNN类import numpy as npfrom sklearn.neighbors import KDTree...

# --*-- coding:utf-8 --*--import numpy as npclass Node: # 结点 def __init__(self, data, lchild=None, rchild=None): self.data = data self.lchild = lchild self.rchild = rchildclass KdTree: ...

萤火虫算法萤火虫算法是一种新颖的进化算法，是根据自然界中萤火虫的发光行为所构造出的基于群体搜索的智能优化算法。该算法的基本思想是利用在一定范围内萤火虫发光低的向发光高的萤火虫移动，从而有效的实现寻找最优解。 由于萤火虫算法原理相对简单、且易于实现；而且还具有良好的全局寻优能力，能够快速地收敛于最优解等特性，现在萤火虫算法已经应用到工业优化、动态路径规划、图像处理、经济调度等领域。 在萤火虫...