所谓”稀疏“,是很常见的一个词,比如稀疏矩阵,稀疏编码。这里直白点讲,就是非零值很少。就如对于矩阵而言,稀疏矩阵,就是大部分数据都为0,少部分不为0,稀疏正是指”非0数据很少。
那么”稀疏特征“,如果用矩阵的形式表达,得到的就是稀疏矩阵。“稀疏特征”在大多数的特征上其值为0,只有少部分的特征非0。
那么”稀疏特征“,如果用矩阵的形式表达,得到的就是稀疏矩阵。“稀疏特征”在大多数的特征上其值为0,只有少部分的特征非0。
一般在machine learning意义上,我们常说的feature,是一种对数据的表达。当然,要衡量一种feature是否是合适的表达,要根据数据,应用,ML的模型,方法....很多方面来看。
一般来说,Feature应该是informative(富有信息量),discriminative(有区分性)和independent(独立)的。
那么具体怎么选择feature,其实一直是一个开放的问题。
在机器学习里面,feature的选择是至关重要的:对于同一种学习的模型,同样的学习方法,同样的数据,选择不同的feature来表达,可能会产生完全不同的效果。
Feature有很多种特性和分类:Feature可以是Linear(线性),也可以是Non-linear(非线性)的;Feature可以是Fixed(固顶的),也可以是Adaptive(适应性的)....甚至feature都可以不是numerical的,但因为题主问的是sparse feature,所以我就在这里特指numerical的feature。
如果把我们的每一个数据点,想象成一个vector(向量),记作y,对应的feature则可以用另外一个vector来表示,记作x。
那么关于稀疏特性的feature(sparse feature),其实 @曾博同学已经说得一针见血了....就是x这个向量里面有很多index都是0....而非零的index远小于x的维度(x向量的长度)。
如果你的问题只是how to define Sparse Feature, 那么that's it....没了,就是零比较多而已...
如果你想知道为什么sparse feature在某些应用里面表现很好?
一般来说,Feature应该是informative(富有信息量),discriminative(有区分性)和independent(独立)的。
那么具体怎么选择feature,其实一直是一个开放的问题。
在机器学习里面,feature的选择是至关重要的:对于同一种学习的模型,同样的学习方法,同样的数据,选择不同的feature来表达,可能会产生完全不同的效果。
Feature有很多种特性和分类:Feature可以是Linear(线性),也可以是Non-linear(非线性)的;Feature可以是Fixed(固顶的),也可以是Adaptive(适应性的)....甚至feature都可以不是numerical的,但因为题主问的是sparse feature,所以我就在这里特指numerical的feature。
如果把我们的每一个数据点,想象成一个vector(向量),记作y,对应的feature则可以用另外一个vector来表示,记作x。
那么关于稀疏特性的feature(sparse feature),其实 @曾博同学已经说得一针见血了....就是x这个向量里面有很多index都是0....而非零的index远小于x的维度(x向量的长度)。
如果你的问题只是how to define Sparse Feature, 那么that's it....没了,就是零比较多而已...
如果你想知道为什么sparse feature在某些应用里面表现很好?
本文解释了稀疏特征的概念,即特征向量中大部分元素为零,仅少数元素非零。探讨了稀疏特征在机器学习中的重要性及其应用场景。
1万+





