距离算法

闵可夫斯基距离

设特征空间X是n维实数向量空间RnRn,

xi,xjX,xi=(x(1)i,x(2)i,...x(l)i)Txj=(x(1)j,x(2)j,...x(l)j)T,xi,xjLpxi,xj∈X,xi=(xi(1),xi(2),...xi(l))T,xj=(xj(1),xj(2),...xj(l))T,xi,xj的Lp距离定义为

Lp(xi,xj)=(l=0nx(l)ix(l)jp)1pLp(xi,xj)=(∑l=0n|xi(l)−xj(l)|p)1p

欧氏距离

当p=2时为欧式距离,它是最常见的两点之间或多点之间的距离表示法,又称之为欧几里得度量,定义于欧几里得空间中,对应L2L2范数。如点x=(x1,...,xn)y=(y1,...,yn)x=(x1,...,xn)和y=(y1,...,yn) 之间的距离为:
这里写图片描述

曼哈顿距离

p=1时为曼哈顿距离,对应L1L1范数,即在欧几里得空间的固定直角坐标系上两点所形成的线段对轴产生的投影的距离总和。

L1(xi,xj)=l=0nx(l)ix(l)jL1(xi,xj)=∑l=0n|xi(l)−xj(l)|

在机器学习中的应用

L1范数和L2范数,用于机器学习的L1正则化、L2正则化。对于线性回归模型,使用L1正则化的模型建叫做Lasso回归,使用L2正则化的模型叫做Ridge回归(岭回归)。

其作用是:

L1正则化是指权值向量w中各个元素的绝对值之和,可以产生稀疏权值矩阵(稀疏矩阵指的是很多元素为0,只有少数元素是非零值的矩阵,即得到的线性回归模型的大部分系数都是0. ),即产生一个稀疏模型,可以用于特征选择;

L2正则化是指权值向量w中各个元素的平方和然后再求平方根,可以防止模型过拟合(overfitting);一定程度上,L1也可以防止过拟合。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值