spark sql 自定义udf函数

最新推荐文章于 2024-01-28 11:34:08 发布

Mate40Pro陶瓷白

最新推荐文章于 2024-01-28 11:34:08 发布

阅读量513

点赞数

分类专栏： sparksql 文章标签： udf sparksql

本文链接：https://blog.youkuaiyun.com/tiankonghewo/article/details/100141729

版权

sparksql 专栏收录该内容

1 篇文章

订阅专栏

import org.apache.spark.sql.functions._

def compare(value_missing: String, value: String): Boolean = {
    var flag = false
    if (value_missing.length == value.length) {
      flag = value_missing.zip(value).forall {
        case ('*', c2) => true
        case (c1, '*') => true
        case (c1, c2) => c1 == c2
      }
    }
    flag
  }

val udf_compare = udf(compare(_: String, _: String): Boolean)

df.withColumn("flag", udf_compare($"mobile_missing", $"mobile"))