one-hot representations独热编码

数据预处理之独热编码（One-Hot Encoding）

**定义** One-Hot Encoding即 One-Hot 编码，也称独热编码，又称一位有效编码，其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候，其中只有一位有效。

**解决问题**：由于分类器往往默认数据数据是连续的，并且是有序的，但是在很多机器学习任务中，存在很多离散（分类）特征，因而将特征值转化成数字时，往往也是不连续的， One-Hot 编码解决了这个问题。

**Case**——Suppose 已知三个feature，三个feature分别取值如下：

feature1=[“male”, “female”]

feature2=[“from Europe”, “from US”, “from Asia”]

feature3=[“uses Firefox”, “uses Chrome”, “uses Safari”, “uses Internet Explorer”]

我们让每一个特征的值都从整数0开始mark，并分别从这三类feature提取一个feature作为的一次abstracting-feature-set。e.g：

[“male”, “from US”, “uses Internet Explorer”] is marked为[0, 1, 3]

[“female”, “from Asia”, “uses Chrome”] is marked为[1, 2, 1]

Q: 求[0, 1, 3]对应的One-Hot 编码？

QA：对于每一个特征，如果它有m个可能值，那么经过独热编码(激活)后，就变成了m个二元特征。

首先将每个特征的每个值的mark转化其对应的二进制数，例如0——00,1——01,2——10,3—11，然后按照特征值在特征类中的位置计算对应的One-Hot 编码，例如对feature3分别得到：0——0001,1——0010,2——0100,3——1000

由于三个特征的值互斥，每次只有一个激活。因此，数据会变成稀疏的。这里未激活的特征值用0000表示。

因此[0, 1, 3]对应的One-Hot 编码为：

[0001,0000,0000,0010,0000,0000,0000,0000,1000]

可以简写为[ 1., 0., 0., 1., 0., 0., 0., 0., 1.]。

转自：http://blog.youkuaiyun.com/smile909/article/details/51835194