131.007 Unsupervised Learning - Feature Selection | 非监督学习 - 特征选择

本文探讨了特征选择的重要性,分析了维度灾难的原因及其对机器学习算法的影响,并提出了两种解决方案:过滤法和封装法。过滤法速度快但可能忽略学习问题,封装法则考虑到了模型偏差但速度较慢。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1 Why?

  • Reason1 Knowledge Discovery
    (about human beings limitaitons)
  • Reason2 Cause of Dimensionality (维度灾难)
    (about ML algorithm itself)
    所需的数据量会根据你所拥有的特征数量以指数速度增长

    2 NP-Hard Problem

arbitrarily choose m features from n features (m≤n),don't know what m truely is before you choose.

1143923-20180624115524521-530923988.png

复杂度 exponentail

NP-hard,其中,NP是指非确定性多项式(non-deterministic polynomial,缩写NP)。所谓的非确定性是指,可用一定数量的运算去解决多项式时间内可解决的问题。
NP-hard问题通俗来说是其解的正确性能够被“很容易检查”的问题,这里“很容易检查”指的是存在一个多项式检查算法。相应的,若NP中所有问题到某一个问题是图灵可归约的,则该问题为NP困难问题。

3 Solution: Filtering & Wrapping | 解决方法 过滤&封装

1143923-20180624115549619-1108969023.png

3.1 Filtering | 过滤

先对特征进行过滤,然后将其传递至学习算法(图示 )
+ Speed (pros)
- Ignores the learning problem(cons)

3.2 Wrapping | 封装

对特征的搜索针对你的学习算法展开
+ take model bias into accounts
- so.... slow

Relevance vs Usefulness

  • Relevance ~ information
  • Usefulness ~ Error

转载于:https://www.cnblogs.com/Neo007/p/9220044.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值