二十种特征变换方法及Spark MLlib调用实例（Scala/Java/python）（一）

Tokenizer（分词器）

算法介绍：

        Tokenization将文本划分为独立个体（通常为单词）。下面的例子展示了如何把句子划分为单词。

        RegexTokenizer基于正则表达式提供更多的划分选项。默认情况下，参数“pattern”为划分文本的分隔符。或者，用户可以指定参数“gaps”来指明正则“patten”表示“tokens”而不是分隔符，这样来为分词结果找到所有可能匹配的情况。

示例调用：

Scala：

[plain]  view plain  copy

1. import org.apache.spark.ml.feature.{RegexTokenizer, Tokenizer}  
2.   
3. val sentenceDataFrame = spark.createDataFrame(Seq(  
4.   (0, "Hi I heard about Spark"),  
5.   (1, "I wish Java could use case classes"),  
6.   (2, "Logistic,regression,models,are,neat")  
7. )).toDF("label", "sentence")  
8.   
9. val tokenizer = new Tokenizer().setInputCol("sentence").setOutputCol("words")  
10. val regexTokenizer = new RegexTokenizer()  
11.   .setInputCol("sentence")  
12.   .setOutputCol("words")  
13.   .setPattern("\\W") // alternatively .setPattern("\\w+").setGaps(false)  
14.   
15. val tokenized = tokenizer.transform(sentenceDataFrame)  
16. tokenized.select("words", "label").take(3).foreach(println)  
17. val regexTokenized = regexTokenizer.transform(sentenceDataFrame)  
18. regexTokenized.select("words", "label").take(3).foreach(println)  

Java：

[java]  view plain  copy

1. import java.util.Arrays;  
2. import java.util.List;  
3.   
4. import org.apache.spark.ml.feature.RegexTokenizer;  
5. import org.apache.spark.ml.feature.Tokenizer;  
6. import org.apache.spark.sql.Dataset;  
7. import org.apache.spark.sql.Row;  
8. import org.apache.spark.sql.RowFactory;  
9. import org.apache.spark.sql.types.DataTypes;  
10. import org.apache.spark.sql.types.Metadata;  
11. import org.apache.spark.sql.types.StructField;  
12. import org.apache.spark.sql.types.StructType;  
13.   
14. List<Row> data = Arrays.asList(  
15.   RowFactory.create(0, "Hi I heard about Spark"),  
16.   RowFactory.create(1, "I wish Java could use case classes"),  
17.   RowFactory.create(2, "Logistic,regression,models,are,neat")  
18. );  
19.   
20. StructType schema = new StructType(new StructField[]{  
21.   new StructField("label", DataTypes.IntegerType, false, Metadata.empty()),  
22.   new StructField("sentence", DataTypes.StringType, false, Metadata.empty())  
23. });  
24.   
25. Dataset<Row> sentenceDataFrame = spark.createDataFrame(data, schema);  
26.   
27. Tokenizer tokenizer = new Tokenizer().setInputCol("sentence").setOutputCol("words");  
28.   
29. Dataset<Row> wordsDataFrame = tokenizer.transform(sentenceDataFrame);  
30. for (Row r : wordsDataFrame.select("words", "label").takeAsList(3)) {  
31.   java.util.List<String> words = r.getList(0);  
32.   for (String word : words) System.out.print(word + " ");  
33.   System.out.println();  
34. }  
35.   
36. RegexTokenizer regexTokenizer = new RegexTokenizer()  
37.   .setInputCol("sentence")  
38.   .setOutputCol("words")  
39.   .setPattern("\\W");  // alternatively .setPattern("\\w+").setGaps(false);  

Python：

[python]  view plain  copy

1. from pyspark.ml.feature import Tokenizer, RegexTokenizer  
2.   
3. sentenceDataFrame = spark.createDataFrame([  
4.     (0, "Hi I heard about Spark"),  
5.     (1, "I wish Java could use case classes"),  
6.     (2, "Logistic,regression,models,are,neat")  
7. ], ["label", "sentence"])  
8. tokenizer = Tokenizer(inputCol="sentence", outputCol="words")  
9. wordsDataFrame = tokenizer.transform(sentenceDataFrame)  
10. for words_label in wordsDataFrame.select("words", "label").take(3):  
11.     print(words_label)  
12. regexTokenizer = RegexTokenizer(inputCol="sentence", outputCol="words", pattern="\\W")  
13. # alternatively, pattern="\\w+", gaps(False)  

StopWordsRemover

算法介绍：

       停用词为在文档中频繁出现，但未承载太多意义的词语，他们不应该被包含在算法输入中。

       StopWordsRemover的输入为一系列字符串（如分词器输出），输出中删除了所有停用词。停用词表由stopWords参数提供。一些语言的默认停用词表可以通过StopWordsRemover.loadDefaultStopWords(language)调用。布尔参数caseSensitive指明是否区分大小写（默认为否）。

示例：

假设我们有如下DataFrame，有id和raw两列：

id | raw

----|----------

 0  | [I,saw, the, red, baloon]

 1  |[Mary, had, a, little, lamb]

通过对raw列调用StopWordsRemover，我们可以得到筛选出的结果列如下：

id | raw                         | filtered

----|-----------------------------|--------------------

 0  | [I,saw, the, red, baloon]  |  [saw, red, baloon]

 1  |[Mary, had, a, little, lamb]|[Mary, little, lamb]

其中，“I”, “the”, “had”以及“a”被移除。

示例调用：

Scala：

[plain]  view plain  copy

1. import org.apache.spark.ml.feature.StopWordsRemover  
2.   
3. val remover = new StopWordsRemover()  
4.   .setInputCol("raw")  
5.   .setOutputCol("filtered")  
6.   
7. val dataSet = spark.createDataFrame(Seq(  
8.   (0, Seq("I", "saw", "the", "red", "baloon")),  
9.   (1, Seq("Mary", "had", "a", "little", "lamb"))  
10. )).toDF("id", "raw")  
11.   
12. remover.transform(dataSet).show()  

Java：

[java]  view plain  copy

1. import java.util.Arrays;  
2. import java.util.List;  
3.   
4. import org.apache.spark.ml.feature.StopWordsRemover;  
5. import org.apache.spark.sql.Dataset;  
6. import org.apache.spark.sql.Row;  
7. import org.apache.spark.sql.RowFactory;  
8. import org.apache.spark.sql.types.DataTypes;  
9. import org.apache.spark.sql.types.Metadata;  
10. import org.apache.spark.sql.types.StructField;  
11. import org.apache.spark.sql.types.StructType;  
12.   
13. StopWordsRemover remover = new StopWordsRemover()  
14.   .setInputCol("raw")  
15.   .setOutputCol("filtered");  
16.   
17. List<Row> data = Arrays.asList(  
18.   RowFactory.create(Arrays.asList("I", "saw", "the", "red", "baloon")),  
19.   RowFactory.create(Arrays.asList("Mary", "had", "a", "little", "lamb"))  
20. );  
21.   
22. StructType schema = new StructType(new StructField[]{  
23.   new StructField(  
24.     "raw", DataTypes.createArrayType(DataTypes.StringType), false, Metadata.empty())  
25. });  
26.   
27. Dataset<Row> dataset = spark.createDataFrame(data, schema);  
28. remover.transform(dataset).show();  

Python：

[python]  view plain  copy

1. from pyspark.ml.feature import StopWordsRemover  
2.   
3. sentenceData = spark.createDataFrame([  
4.     (0, ["I", "saw", "the", "red", "baloon"]),  
5.     (1, ["Mary", "had", "a", "little", "lamb"])  
6. ], ["label", "raw"])  
7.   
8. remover = StopWordsRemover(inputCol="raw", outputCol="filtered")  
9. remover.transform(sentenceData).show(truncate=False)  

n-gram

算法介绍：

       一个n-gram是一个长度为整数n的字序列。NGram可以用来将输入转换为n-gram。

        NGram的输入为一系列字符串（如分词器输出）。参数n决定每个n-gram包含的对象个数。结果包含一系列n-gram，其中每个n-gram代表一个空格分割的n个连续字符。如果输入少于n个字符串，将没有输出结果。

示例调用：

Scala：

[plain]  view plain  copy

1. import org.apache.spark.ml.feature.NGram  
2.   
3. val wordDataFrame = spark.createDataFrame(Seq(  
4.   (0, Array("Hi", "I", "heard", "about", "Spark")),  
5.   (1, Array("I", "wish", "Java", "could", "use", "case", "classes")),  
6.   (2, Array("Logistic", "regression", "models", "are", "neat"))  
7. )).toDF("label", "words")  
8.   
9. val ngram = new NGram().setInputCol("words").setOutputCol("ngrams")  
10. val ngramDataFrame = ngram.transform(wordDataFrame)  
11. ngramDataFrame.take(3).map(_.getAs[Stream[String]]("ngrams").toList).foreach(println)  

Java：

[java]  view plain  copy

1. import java.util.Arrays;  
2. import java.util.List;  
3.   
4. import org.apache.spark.ml.feature.NGram;  
5. import org.apache.spark.sql.Row;  
6. import org.apache.spark.sql.RowFactory;  
7. import org.apache.spark.sql.types.DataTypes;  
8. import org.apache.spark.sql.types.Metadata;  
9. import org.apache.spark.sql.types.StructField;  
10. import org.apache.spark.sql.types.StructType;  
11.   
12. List<Row> data = Arrays.asList(  
13.   RowFactory.create(0.0, Arrays.asList("Hi", "I", "heard", "about", "Spark")),  
14.   RowFactory.create(1.0, Arrays.asList("I", "wish", "Java", "could", "use", "case", "classes")),  
15.   RowFactory.create(2.0, Arrays.asList("Logistic", "regression", "models", "are", "neat"))  
16. );  
17.   
18. StructType schema = new StructType(new StructField[]{  
19.   new StructField("label", DataTypes.DoubleType, false, Metadata.empty()),  
20.   new StructField(  
21.     "words", DataTypes.createArrayType(DataTypes.StringType), false, Metadata.empty())  
22. });  
23.   
24. Dataset<Row> wordDataFrame = spark.createDataFrame(data, schema);  
25.   
26. NGram ngramTransformer = new NGram().setInputCol("words").setOutputCol("ngrams");  
27.   
28. Dataset<Row> ngramDataFrame = ngramTransformer.transform(wordDataFrame);  
29.   
30. for (Row r : ngramDataFrame.select("ngrams", "label").takeAsList(3)) {  
31.   java.util.List<String> ngrams = r.getList(0);  
32.   for (String ngram : ngrams) System.out.print(ngram + " --- ");  
33.   System.out.println();  
34. }  

Python：

[python]  view plain  copy

1. from pyspark.ml.feature import NGram  
2.   
3. wordDataFrame = spark.createDataFrame([  
4.     (0, ["Hi", "I", "heard", "about", "Spark"]),  
5.     (1, ["I", "wish", "Java", "could", "use", "case", "classes"]),  
6.     (2, ["Logistic", "regression", "models", "are", "neat"])  
7. ], ["label", "words"])  
8. ngram = NGram(inputCol="words", outputCol="ngrams")  
9. ngramDataFrame = ngram.transform(wordDataFrame)  
10. for ngrams_label in ngramDataFrame.select("ngrams", "label").take(3):  
11.     print(ngrams_label)  

Binarizer

算法介绍：

       二值化是根据阀值将连续数值特征转换为0-1特征的过程。

       Binarizer参数有输入、输出以及阀值。特征值大于阀值将映射为1.0，特征值小于等于阀值将映射为0.0。

示例调用：

Scala：

[plain]  view plain  copy

1. import org.apache.spark.ml.feature.Binarizer  
2.   
3. val data = Array((0, 0.1), (1, 0.8), (2, 0.2))  
4. val dataFrame = spark.createDataFrame(data).toDF("label", "feature")  
5.   
6. val binarizer: Binarizer = new Binarizer()  
7.   .setInputCol("feature")  
8.   .setOutputCol("binarized_feature")  
9.   .setThreshold(0.5)  
10.   
11. val binarizedDataFrame = binarizer.transform(dataFrame)  
12. val binarizedFeatures = binarizedDataFrame.select("binarized_feature")  
13. binarizedFeatures.collect().foreach(println)  

Java：

[java]  view plain  copy

1. import java.util.Arrays;  
2. import java.util.List;  
3.   
4. import org.apache.spark.ml.feature.Binarizer;  
5. import org.apache.spark.sql.Row;  
6. import org.apache.spark.sql.RowFactory;  
7. import org.apache.spark.sql.types.DataTypes;  
8. import org.apache.spark.sql.types.Metadata;  
9. import org.apache.spark.sql.types.StructField;  
10. import org.apache.spark.sql.types.StructType;  
11.   
12. List<Row> data = Arrays.asList(  
13.   RowFactory.create(0, 0.1),  
14.   RowFactory.create(1, 0.8),  
15.   RowFactory.create(2, 0.2)  
16. );  
17. StructType schema = new StructType(new StructField[]{  
18.   new StructField("id", DataTypes.IntegerType, false, Metadata.empty()),  
19.   new StructField("feature", DataTypes.DoubleType, false, Metadata.empty())  
20. });  
21. Dataset<Row> continuousDataFrame = spark.createDataFrame(data, schema);  
22. Binarizer binarizer = new Binarizer()  
23.   .setInputCol("feature")  
24.   .setOutputCol("binarized_feature")  
25.   .setThreshold(0.5);  
26. Dataset<Row> binarizedDataFrame = binarizer.transform(continuousDataFrame);  
27. Dataset<Row> binarizedFeatures = binarizedDataFrame.select("binarized_feature");  
28. for (Row r : binarizedFeatures.collectAsList()) {  
29.   Double binarized_value = r.getDouble(0);  
30.   System.out.println(binarized_value);  
31. }  

Python：

[python]  view plain  copy

1. from pyspark.ml.feature import Binarizer  
2.   
3. continuousDataFrame = spark.createDataFrame([  
4.     (0, 0.1),  
5.     (1, 0.8),  
6.     (2, 0.2)  
7. ], ["label", "feature"])  
8. binarizer = Binarizer(threshold=0.5, inputCol="feature", outputCol="binarized_feature")  
9. binarizedDataFrame = binarizer.transform(continuousDataFrame)  
10. binarizedFeatures = binarizedDataFrame.select("binarized_feature")  
11. for binarized_feature, in binarizedFeatures.collect():  
12.     print(binarized_feature)  

PCA

算法介绍：

        主成分分析是一种统计学方法，它使用正交转换从一系列可能相关的变量中提取线性无关变量集，提取出的变量集中的元素称为主成分。使用PCA方法可以对变量集合进行降维。下面的示例将会展示如何将5维特征向量转换为3维主成分向量。

示例调用：

Scala：

[plain]  view plain  copy

1. import org.apache.spark.ml.feature.PCA  
2. import org.apache.spark.ml.linalg.Vectors  
3.   
4. val data = Array(  
5.   Vectors.sparse(5, Seq((1, 1.0), (3, 7.0))),  
6.   Vectors.dense(2.0, 0.0, 3.0, 4.0, 5.0),  
7.   Vectors.dense(4.0, 0.0, 0.0, 6.0, 7.0)  
8. )  
9. val df = spark.createDataFrame(data.map(Tuple1.apply)).toDF("features")  
10. val pca = new PCA()  
11.   .setInputCol("features")  
12.   .setOutputCol("pcaFeatures")  
13.   .setK(3)  
14.   .fit(df)  
15. val pcaDF = pca.transform(df)  
16. val result = pcaDF.select("pcaFeatures")  
17. result.show()  

Java：

[java]  view plain  copy

1. import java.util.Arrays;  
2. import java.util.List;  
3.   
4. import org.apache.spark.ml.feature.PCA;  
5. import org.apache.spark.ml.feature.PCAModel;  
6. import org.apache.spark.ml.linalg.VectorUDT;  
7. import org.apache.spark.ml.linalg.Vectors;  
8. import org.apache.spark.sql.Dataset;  
9. import org.apache.spark.sql.Row;  
10. import org.apache.spark.sql.RowFactory;  
11. import org.apache.spark.sql.types.Metadata;  
12. import org.apache.spark.sql.types.StructField;  
13. import org.apache.spark.sql.types.StructType;  
14.   
15. List<Row> data = Arrays.asList(  
16.   RowFactory.create(Vectors.sparse(5, new int[]{1, 3}, new double[]{1.0, 7.0})),  
17.   RowFactory.create(Vectors.dense(2.0, 0.0, 3.0, 4.0, 5.0)),  
18.   RowFactory.create(Vectors.dense(4.0, 0.0, 0.0, 6.0, 7.0))  
19. );  
20.   
21. StructType schema = new StructType(new StructField[]{  
22.   new StructField("features", new VectorUDT(), false, Metadata.empty()),  
23. });  
24.   
25. Dataset<Row> df = spark.createDataFrame(data, schema);  
26.   
27. PCAModel pca = new PCA()  
28.   .setInputCol("features")  
29.   .setOutputCol("pcaFeatures")  
30.   .setK(3)  
31.   .fit(df);  
32.   
33. Dataset<Row> result = pca.transform(df).select("pcaFeatures");  
34. result.show();  

Python：

[python]  view plain  copy

1. from pyspark.ml.feature import PCA  
2. from pyspark.ml.linalg import Vectors  
3.   
4. data = [(Vectors.sparse(5, [(1, 1.0), (3, 7.0)]),),  
5.         (Vectors.dense([2.0, 0.0, 3.0, 4.0, 5.0]),),  
6.         (Vectors.dense([4.0, 0.0, 0.0, 6.0, 7.0]),)]  
7. df = spark.createDataFrame(data, ["features"])  
8. pca = PCA(k=3, inputCol="features", outputCol="pcaFeatures")  
9. model = pca.fit(df)  
10. result = model.transform(df).select("pcaFeatures")  
11. result.show(truncate=False)  

PolynomialExpansion

算法介绍：

       多项式扩展通过产生n维组合将原始特征将特征扩展到多项式空间。下面的示例会介绍如何将你的特征集拓展到3维多项式空间。

示例调用：

Scala：

[plain]  view plain  copy

1. import org.apache.spark.ml.feature.PolynomialExpansion  
2. import org.apache.spark.ml.linalg.Vectors  
3.   
4. val data = Array(  
5.   Vectors.dense(-2.0, 2.3),  
6.   Vectors.dense(0.0, 0.0),  
7.   Vectors.dense(0.6, -1.1)  
8. )  
9. val df = spark.createDataFrame(data.map(Tuple1.apply)).toDF("features")  
10. val polynomialExpansion = new PolynomialExpansion()  
11.   .setInputCol("features")  
12.   .setOutputCol("polyFeatures")  
13.   .setDegree(3)  
14. val polyDF = polynomialExpansion.transform(df)  
15. polyDF.select("polyFeatures").take(3).foreach(println)  

Java：

[java]  view plain  copy

1. import java.util.Arrays;  
2. import java.util.List;  
3.   
4. import org.apache.spark.ml.feature.PolynomialExpansion;  
5. import org.apache.spark.ml.linalg.VectorUDT;  
6. import org.apache.spark.ml.linalg.Vectors;  
7. import org.apache.spark.sql.Dataset;  
8. import org.apache.spark.sql.Row;  
9. import org.apache.spark.sql.RowFactory;  
10. import org.apache.spark.sql.types.Metadata;  
11. import org.apache.spark.sql.types.StructField;  
12. import org.apache.spark.sql.types.StructType;  
13.   
14. PolynomialExpansion polyExpansion = new PolynomialExpansion()  
15.   .setInputCol("features")  
16.   .setOutputCol("polyFeatures")  
17.   .setDegree(3);  
18.   
19. List<Row> data = Arrays.asList(  
20.   RowFactory.create(Vectors.dense(-2.0, 2.3)),  
21.   RowFactory.create(Vectors.dense(0.0, 0.0)),  
22.   RowFactory.create(Vectors.dense(0.6, -1.1))  
23. );  
24.   
25. StructType schema = new StructType(new StructField[]{  
26.   new StructField("features", new VectorUDT(), false, Metadata.empty()),  
27. });  
28.   
29. Dataset<Row> df = spark.createDataFrame(data, schema);  
30. Dataset<Row> polyDF = polyExpansion.transform(df);  
31.   
32. List<Row> rows = polyDF.select("polyFeatures").takeAsList(3);  
33. for (Row r : rows) {  
34.   System.out.println(r.get(0));  
35. }  

Python：

[python]  view plain  copy

1. from pyspark.ml.feature import PolynomialExpansion  
2. from pyspark.ml.linalg import Vectors  
3.   
4. df = spark\  
5.     .createDataFrame([(Vectors.dense([-2.0, 2.3]),),  
6.                       (Vectors.dense([0.0, 0.0]),),  
7.                       (Vectors.dense([0.6, -1.1]),)],  
8.                      ["features"])  
9. px = PolynomialExpansion(degree=3, inputCol="features", outputCol="polyFeatures")  
10. polyDF = px.transform(df)  
11. for expanded in polyDF.select("polyFeatures").take(3):  
12.     print(expanded)  

Discrete Cosine Transform(DCT)

算法介绍：

       离散余弦变换是与傅里叶变换相关的一种变换，它类似于离散傅立叶变换但是只使用实数。离散余弦变换相当于一个长度大概是它两倍的离散傅里叶变换，这个离散傅里叶变换是对一个实偶函数进行的（因为一个实偶函数的傅里叶变换仍然是一个实偶函数）。离散余弦变换，经常被信号处理和图像处理使用，用于对信号和图像（包括静止图像和运动图像）进行有损数据压缩。

示例调用：

Scala：

[plain]  view plain  copy

1. import org.apache.spark.ml.feature.DCT  
2. import org.apache.spark.ml.linalg.Vectors  
3.   
4. val data = Seq(  
5.   Vectors.dense(0.0, 1.0, -2.0, 3.0),  
6.   Vectors.dense(-1.0, 2.0, 4.0, -7.0),  
7.   Vectors.dense(14.0, -2.0, -5.0, 1.0))  
8.   
9. val df = spark.createDataFrame(data.map(Tuple1.apply)).toDF("features")  
10.   
11. val dct = new DCT()  
12.   .setInputCol("features")  
13.   .setOutputCol("featuresDCT")  
14.   .setInverse(false)  
15.   
16. val dctDf = dct.transform(df)  
17. dctDf.select("featuresDCT").show(3)  

Java：

[java]  view plain  copy

1. import java.util.Arrays;  
2. import java.util.List;  
3.   
4. import org.apache.spark.ml.feature.DCT;  
5. import org.apache.spark.ml.linalg.VectorUDT;  
6. import org.apache.spark.ml.linalg.Vectors;  
7. import org.apache.spark.sql.Row;  
8. import org.apache.spark.sql.RowFactory;  
9. import org.apache.spark.sql.types.Metadata;  
10. import org.apache.spark.sql.types.StructField;  
11. import org.apache.spark.sql.types.StructType;  
12.   
13. List<Row> data = Arrays.asList(  
14.   RowFactory.create(Vectors.dense(0.0, 1.0, -2.0, 3.0)),  
15.   RowFactory.create(Vectors.dense(-1.0, 2.0, 4.0, -7.0)),  
16.   RowFactory.create(Vectors.dense(14.0, -2.0, -5.0, 1.0))  
17. );  
18. StructType schema = new StructType(new StructField[]{  
19.   new StructField("features", new VectorUDT(), false, Metadata.empty()),  
20. });  
21. Dataset<Row> df = spark.createDataFrame(data, schema);  
22. DCT dct = new DCT()  
23.   .setInputCol("features")  
24.   .setOutputCol("featuresDCT")  
25.   .setInverse(false);  
26. Dataset<Row> dctDf = dct.transform(df);  
27. dctDf.select("featuresDCT").show(3);  

Python：

[python]  view plain  copy

1. from pyspark.ml.feature import DCT  
2. from pyspark.ml.linalg import Vectors  
3.   
4. df = spark.createDataFrame([  
5.     (Vectors.dense([0.0, 1.0, -2.0, 3.0]),),  
6.     (Vectors.dense([-1.0, 2.0, 4.0, -7.0]),),  
7.     (Vectors.dense([14.0, -2.0, -5.0, 1.0]),)], ["features"])  
8.   
9. dct = DCT(inverse=False, inputCol="features", outputCol="featuresDCT")  
10.   
11. dctDf = dct.transform(df)  
12.   
13. for dcts in dctDf.select("featuresDCT").take(3):  
14.     print(dcts)  

STringindexer

算法介绍：

StringIndexer将字符串标签编码为标签指标。指标取值范围为[0,numLabels]，按照标签出现频率排序，所以出现最频繁的标签其指标为0。如果输入列为数值型，我们先将之映射到字符串然后再对字符串的值进行指标。如果下游的管道节点需要使用字符串－指标标签，则必须将输入和钻还为字符串－指标列名。

示例：

假设我们有DataFrame数据含有id和category两列：

id | category

----|----------

 0  | a

 1  | b

 2  | c

 3  | a

 4  | a

 5  | c

category是有3种取值的字符串列，使用StringIndexer进行转换后我们可以得到如下输出：

id | category |categoryIndex

----|----------|---------------

 0  |a        | 0.0

 1  |b        | 2.0

 2  |c        | 1.0

 3  |a        | 0.0

 4  |a        | 0.0

 5  |c        | 1.0

另外，如果在转换新数据时出现了在训练中未出现的标签，StringIndexer将会报错（默认值）或者跳过未出现的标签实例。

示例调用：

Scala：

[plain]  view plain  copy

1. import org.apache.spark.ml.feature.StringIndexer  
2.   
3. val df = spark.createDataFrame(  
4.   Seq((0, "a"), (1, "b"), (2, "c"), (3, "a"), (4, "a"), (5, "c"))  
5. ).toDF("id", "category")  
6.   
7. val indexer = new StringIndexer()  
8.   .setInputCol("category")  
9.   .setOutputCol("categoryIndex")  
10.   
11. val indexed = indexer.fit(df).transform(df)  
12. indexed.show()  

Java：

[java]  view plain  copy

1. import java.util.Arrays;  
2. import java.util.List;  
3.   
4. import org.apache.spark.ml.feature.StringIndexer;  
5. import org.apache.spark.sql.Dataset;  
6. import org.apache.spark.sql.Row;  
7. import org.apache.spark.sql.RowFactory;  
8. import org.apache.spark.sql.types.StructField;  
9. import org.apache.spark.sql.types.StructType;  
10.   
11. import static org.apache.spark.sql.types.DataTypes.*;  
12.   
13. List<Row> data = Arrays.asList(  
14.   RowFactory.create(0, "a"),  
15.   RowFactory.create(1, "b"),  
16.   RowFactory.create(2, "c"),  
17.   RowFactory.create(3, "a"),  
18.   RowFactory.create(4, "a"),  
19.   RowFactory.create(5, "c")  
20. );  
21. StructType schema = new StructType(new StructField[]{  
22.   createStructField("id", IntegerType, false),  
23.   createStructField("category", StringType, false)  
24. });  
25. Dataset<Row> df = spark.createDataFrame(data, schema);  
26. StringIndexer indexer = new StringIndexer()  
27.   .setInputCol("category")  
28.   .setOutputCol("categoryIndex");  
29. Dataset<Row> indexed = indexer.fit(df).transform(df);  
30. indexed.show();  

Python：

[python]  view plain  copy

1. from pyspark.ml.feature import StringIndexer  
2.   
3. df = spark.createDataFrame(  
4.     [(0, "a"), (1, "b"), (2, "c"), (3, "a"), (4, "a"), (5, "c")],  
5.     ["id", "category"])  
6. indexer = StringIndexer(inputCol="category", outputCol="categoryIndex")  
7. indexed = indexer.fit(df).transform(df)  
8. indexed.show()  

IndexToString

算法介绍：

       与StringIndexer对应，IndexToString将指标标签映射回原始字符串标签。一个常用的场景是先通过StringIndexer产生指标标签，然后使用指标标签进行训练，最后再对预测结果使用IndexToString来获取其原始的标签字符串。

示例：

假设我们有如下的DataFrame包含id和categoryIndex两列：

id | categoryIndex

----|---------------

 0  | 0.0

 1  | 2.0

 2  | 1.0

 3  | 0.0

 4  | 0.0

 5  | 1.0

使用originalCategory我们可以获取其原始的标签字符串如下：

id | categoryIndex| originalCategory

----|---------------|-----------------

 0  |0.0           | a

 1  |2.0           | b

 2  |1.0           | c

 3  |0.0           | a

 4  |0.0           | a

 5  |1.0           | c

示例调用：

Scala：

[plain]  view plain  copy

1. import org.apache.spark.ml.feature.{IndexToString, StringIndexer}  
2.   
3. val df = spark.createDataFrame(Seq(  
4.   (0, "a"),  
5.   (1, "b"),  
6.   (2, "c"),  
7.   (3, "a"),  
8.   (4, "a"),  
9.   (5, "c")  
10. )).toDF("id", "category")  
11.   
12. val indexer = new StringIndexer()  
13.   .setInputCol("category")  
14.   .setOutputCol("categoryIndex")  
15.   .fit(df)  
16. val indexed = indexer.transform(df)  
17.   
18. val converter = new IndexToString()  
19.   .setInputCol("categoryIndex")  
20.   .setOutputCol("originalCategory")  
21.   
22. val converted = converter.transform(indexed)  
23. converted.select("id", "originalCategory").show()  

Java：

[java]  view plain  copy

1. import java.util.Arrays;  
2. import java.util.List;  
3.   
4. import org.apache.spark.ml.feature.IndexToString;  
5. import org.apache.spark.ml.feature.StringIndexer;  
6. import org.apache.spark.ml.feature.StringIndexerModel;  
7. import org.apache.spark.sql.Row;  
8. import org.apache.spark.sql.RowFactory;  
9. import org.apache.spark.sql.types.DataTypes;  
10. import org.apache.spark.sql.types.Metadata;  
11. import org.apache.spark.sql.types.StructField;  
12. import org.apache.spark.sql.types.StructType;  
13.   
14. List<Row> data = Arrays.asList(  
15.   RowFactory.create(0, "a"),  
16.   RowFactory.create(1, "b"),  
17.   RowFactory.create(2, "c"),  
18.   RowFactory.create(3, "a"),  
19.   RowFactory.create(4, "a"),  
20.   RowFactory.create(5, "c")  
21. );  
22. StructType schema = new StructType(new StructField[]{  
23.   new StructField("id", DataTypes.IntegerType, false, Metadata.empty()),  
24.   new StructField("category", DataTypes.StringType, false, Metadata.empty())  
25. });  
26. Dataset<Row> df = spark.createDataFrame(data, schema);  
27.   
28. StringIndexerModel indexer = new StringIndexer()  
29.   .setInputCol("category")  
30.   .setOutputCol("categoryIndex")  
31.   .fit(df);  
32. Dataset<Row> indexed = indexer.transform(df);  
33.   
34. IndexToString converter = new IndexToString()  
35.   .setInputCol("categoryIndex")  
36.   .setOutputCol("originalCategory");  
37. Dataset<Row> converted = converter.transform(indexed);  
38. converted.select("id", "originalCategory").show();  

Python：

[python]  view plain  copy

1. from pyspark.ml.feature import IndexToString, StringIndexer  
2.   
3. df = spark.createDataFrame(  
4.     [(0, "a"), (1, "b"), (2, "c"), (3, "a"), (4, "a"), (5, "c")],  
5.     ["id", "category"])  
6.   
7. stringIndexer = StringIndexer(inputCol="category", outputCol="categoryIndex")  
8. model = stringIndexer.fit(df)  
9. indexed = model.transform(df)  
10.   
11. converter = IndexToString(inputCol="categoryIndex", outputCol="originalCategory")  
12. converted = converter.transform(indexed)  
13.   
14. converted.select("id", "originalCategory").show()  

OneHotEncoder

算法介绍：

    独热编码将标签指标映射为二值向量，其中最多一个单值。这种编码被用于将种类特征使用到需要连续特征的算法，如逻辑回归等。

示例调用：

Scala：

[plain]  view plain  copy

1. import org.apache.spark.ml.feature.{OneHotEncoder, StringIndexer}  
2.   
3. val df = spark.createDataFrame(Seq(  
4.   (0, "a"),  
5.   (1, "b"),  
6.   (2, "c"),  
7.   (3, "a"),  
8.   (4, "a"),  
9.   (5, "c")  
10. )).toDF("id", "category")  
11.   
12. val indexer = new StringIndexer()  
13.   .setInputCol("category")  
14.   .setOutputCol("categoryIndex")  
15.   .fit(df)  
16. val indexed = indexer.transform(df)  
17.   
18. val encoder = new OneHotEncoder()  
19.   .setInputCol("categoryIndex")  
20.   .setOutputCol("categoryVec")  
21. val encoded = encoder.transform(indexed)  
22. encoded.select("id", "categoryVec").show()  

Java：

[java]  view plain  copy

1. import java.util.Arrays;  
2. import java.util.List;  
3.   
4. import org.apache.spark.ml.feature.OneHotEncoder;  
5. import org.apache.spark.ml.feature.StringIndexer;  
6. import org.apache.spark.ml.feature.StringIndexerModel;  
7. import org.apache.spark.sql.Dataset;  
8. import org.apache.spark.sql.Row;  
9. import org.apache.spark.sql.RowFactory;  
10. import org.apache.spark.sql.types.DataTypes;  
11. import org.apache.spark.sql.types.Metadata;  
12. import org.apache.spark.sql.types.StructField;  
13. import org.apache.spark.sql.types.StructType;  
14.   
15. List<Row> data = Arrays.asList(  
16.   RowFactory.create(0, "a"),  
17.   RowFactory.create(1, "b"),  
18.   RowFactory.create(2, "c"),  
19.   RowFactory.create(3, "a"),  
20.   RowFactory.create(4, "a"),  
21.   RowFactory.create(5, "c")  
22. );  
23.   
24. StructType schema = new StructType(new StructField[]{  
25.   new StructField("id", DataTypes.IntegerType, false, Metadata.empty()),  
26.   new StructField("category", DataTypes.StringType, false, Metadata.empty())  
27. });  
28.   
29. Dataset<Row> df = spark.createDataFrame(data, schema);  
30.   
31. StringIndexerModel indexer = new StringIndexer()  
32.   .setInputCol("category")  
33.   .setOutputCol("categoryIndex")  
34.   .fit(df);  
35. Dataset<Row> indexed = indexer.transform(df);  
36.   
37. OneHotEncoder encoder = new OneHotEncoder()  
38.   .setInputCol("categoryIndex")  
39.   .setOutputCol("categoryVec");  
40. Dataset<Row> encoded = encoder.transform(indexed);  
41. encoded.select("id", "categoryVec").show();  

Python：

[python]  view plain  copy

1. from pyspark.ml.feature import OneHotEncoder, StringIndexer  
2.   
3. df = spark.createDataFrame([  
4.     (0, "a"),  
5.     (1, "b"),  
6.     (2, "c"),  
7.     (3, "a"),  
8.     (4, "a"),  
9.     (5, "c")  
10. ], ["id", "category"])  
11.   
12. stringIndexer = StringIndexer(inputCol="category", outputCol="categoryIndex")  
13. model = stringIndexer.fit(df)  
14. indexed = model.transform(df)  
15. encoder = OneHotEncoder(dropLast=False, inputCol="categoryIndex", outputCol="categoryVec")  
16. encoded = encoder.transform(indexed)  

1. encoded.select("id", "categoryVec").show()

文章出处：https://blog.youkuaiyun.com/liulingyuan6/article/details/53397780?locationNum=3&fps=1