15、Databricks Runtime 机器学习特征工程实用指南

最新推荐文章于 2025-09-23 01:52:58 发布

a1b2c

最新推荐文章于 2025-09-23 01:52:58 发布

阅读量51

点赞数

CC 4.0 BY-SA版权

分类专栏：解锁Azure Databricks：从入门到精通文章标签： Databricks Runtime 特征工程 PySpark

本文链接：https://blog.youkuaiyun.com/a1b2c/article/details/150692981

解锁Azure Databricks：从入门到精通专栏收录该内容

25 篇文章 ¥499.90

订阅专栏¥69.90

会员秒杀 ¥9.9 重磅福利

超级会员免费看

Databricks Runtime 机器学习特征工程实用指南

在处理大量数据时，像 Spark SQL 和 MLlib 这样的工具在特征工程中十分有效。Databricks Runtime ML 还包含了一些第三方库，例如 scikit - learn，它能提供从数据中提取特征的实用方法。接下来，我们将详细介绍一些常见的特征工程技术。

1. 分词器（Tokenizer）

分词是将输入的字符串字符转换为由其组成部分构成的数组的过程。这些部分被称为标记（tokens），通常是单个单词，但也可以是一定数量的字符或称为 n - gram 的单词组合。分词过程可视为特征工程的一项任务，我们后续会使用生成的标记进行特征提取或转换。

在 PySpark 中，可以使用简单的 Tokenizer 类对字符串输入序列进行分词。以下是将句子拆分为单词序列的代码示例：

from pyspark.ml.feature import Tokenizer
sentenceDataFrame = sqlContext.createDataFrame([
  (0, "Spark is great for Data Science"),
  (0, "Also for data engineering"),
  (1, "Logistic regression models are neat")
], ["label", "sentence"])
tokenizer = Tokenizer(inputCol="sentence", outputCol="words")
wordsDataFrame =