Spark ML中的UnaryTransformer源码解析

本文详细解读了SparkML库中的UnaryTransformer抽象类,涉及源码注释、设置输入输出列方法、自定义转换函数示例以及适用场景,适合自定义单列转换的开发者参考。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Spark ML中的UnaryTransformer源码解析

目录

1. 源码加上中文注释

/**
 * :: DeveloperApi ::
 * 抽象类,用于接收一个输入列,应用转换并将结果作为新列输出。
 */
@DeveloperApi
abstract class UnaryTransformer[IN, OUT, T <: UnaryTransformer[IN, OUT, T]]
  extends Transformer with HasInputCol with HasOutputCol with Logging {

  /** @group setParam */
  def setInputCol(value: String): T = set(inputCol, value).asInstanceOf[T]

  /** @group setParam */
  def setOutputCol(value: String): T = set(outputCol, value).asInstanceOf[T]

  /**
   * 使用给定的参数映射创建转换函数。输入的参数映射已经考虑了嵌入的参数映射。
   * 因此,参数值应该完全由输入的参数映射确定。
   */
  protected def createTransformFunc: IN => OUT

  /**
   * 返回输出列的数据类型。
   */
  protected def outputDataType: DataType

  /**
   * 验证输入类型。如果无效,则抛出异常。
   */
  protected def validateInputType(inputType: DataType): Unit = {}

  override def transformSchema(schema: StructType): StructType = {
    val inputType = schema($(inputCol)).dataType
    validateInputType(inputType)
    if (schema.fieldNames.contains($(outputCol))) {
      throw new IllegalArgumentException(s"Output column ${$(outputCol)} already exists.")
    }
    val outputFields = schema.fields :+
      StructField($(outputCol), outputDataType, nullable = false)
    StructType(outputFields)
  }

  override def transform(dataset: Dataset[_]): DataFrame = {
    transformSchema(dataset.schema, logging = true)
    val transformUDF = udf(this.createTransformFunc, outputDataType)
    dataset.withColumn($(outputCol), transformUDF(dataset($(inputCol))))
  }

  override def copy(extra: ParamMap): T = defaultCopy(extra)
}

2. 多种主要用法及其代码示例

  1. 设置输入列:
val transformer = new MyUnaryTransformer().setInputCol("input")
  1. 设置输出列:
val transformer = new MyUnaryTransformer().setOutputCol("output")
  1. 自定义转换函数:
class MyUnaryTransformer extends UnaryTransformer[String, Int, MyUnaryTransformer] {
  override protected def createTransformFunc: String => Int = { input =>
    // 自定义的转换逻辑,将字符串转换为整数
    input.toInt
  }

  override protected def outputDataType: DataType = IntegerType
}

3. 源码适用场景

UnaryTransformer是Spark ML中的抽象类,用于接收一个输入列,应用转换并将结果作为新列输出。它适用于以下场景:

  • 需要对单个输入列进行转换操作,并将结果作为新列添加到数据集中。
  • 需要自定义转换函数来处理特定的转换逻辑。

4. 官方链接

Apache Spark - UnaryTransformer

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BigDataMLApplication

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值