纸上得来终觉浅

from：https://www.iteye.com/blog/weishiym-2395442一、特征工程是什么 有这么一句话在业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢？顾名思义，其本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用。通过总结和归纳，人们认为特征工程包括以下方面： 　　特征处理是特征工程的核心部分，sklearn提供了较为完整的特征处理方法，包括数据预处理，特征选择...

Xgboost在各大数据挖掘比赛中是一个大杀器，往往可以取得比其他各种机器学习算法更好的效果。数据预处理，特征工程，调参对Xgboost的效果有着非常重要的影响。这里介绍一下运用xgboost的特征选择，运用xgboost的特征选择可以筛选出更加有效的特征代入Xgboost模型。这里采用的数据集来自于Kaggle | Allstate Claims Severity比赛，这

from：http://www.linuxidc.com/Linux/2016-01/127857.htm在看机器学习的论文时，经常会看到有作者提到“curse of dimensionality”，中文译为“维数灾难”，这到底是一个什么样的“灾难”？本文将通过一个例子来介绍这令人讨厌的“curse of dimensionality”以及它在分类问题中的重要性。　　假设现在有

近来由于数据记录和属性规模的急剧增长，大数据处理平台和并行数据分析算法也随之出现。于此同时，这也推动了数据降维处理的应用。实际上，数据量有时过犹不及。有时在数据分析应用中大量的数据反而会产生更坏的性能。最新的一个例子是采用 2009 KDD Challenge 大数据集来预测客户流失量。 该数据集维度达到 15000 维。 大多数数据挖掘算法都直接对数据逐列处理，在数据数目一大时，导致算法

转自：http://www.cnblogs.com/llhthinker/p/5522054.html10. Dimensionality ReductionContent 10. Dimensionality Reduction　　10.1 Motivation　　　　10.1.1 Motivation one: Data Compression　　　　10.

1.   当你的特征数量p过多，甚至多过数据量N的时候，降维是必须的。为什么是必须的？有个东西叫curse of dimensionality，维度越高，你的数据在每个特征维度上的分布就越稀疏，这对机器学习算法基本都是灾难性的。你说特征数量过多，砍一点就行了嘛？但是对不起，就有这样的问题存在，砍不了。你要研究某个罕见病跟什么基因有关？基因很多哦，人类已知的基因有几千个，可是病例通常

转自：http://blog.youkuaiyun.com/watkinsong/article/details/38536463?utm_source=tuicool&utm_medium=referral1. 前言 PCA ： principal component analysis ( 主成分分析)最近发现我的一篇关于PCA算法总结以及个人理解的博客的访问量比较高， 刚好

转自：http://www.36dsj.com/archives/26723引言机器学习领域中所谓的降维就是指采用某种映射方法，将原高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数 f : x->y，其中x是原始数据点的表达，目前最多使用向量表达形式。 y是数据点映射后的低维向量表达，通常y的维度小于x的维度（当然提高维度也是可以的）。f可能是显式的或隐式的