No TypeTag available for String sqlContext.udf.register()

最新推荐文章于 2021-05-24 18:57:55 发布

原创最新推荐文章于 2021-05-24 18:57:55 发布 · 538 阅读

0 ·

CC 4.0 BY-SA版权

Spark 同时被 3 个专栏收录

49 篇文章

订阅专栏

scala

23 篇文章

订阅专栏

IDEA

13 篇文章

订阅专栏

博主在使用IDEA编写SparkSQL代码时遇到UDF注册问题，尝试使用String作为参数类型时，出现NoTypeTag错误。通过将String替换为java.lang.String成功解决问题，分享了这一经历及解决方案。

今天在用IDEA写spark sql时遇到这个从未见过的奇葩问题

贴上代码

package udf_sql
import org.apache.spark.sql.{DataFrame, SparkSession}

object sql_udf {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder().master("local").appName("UDF").getOrCreate()
    val nameList: List[String] = List[String]("zhangsan", "lisi", "wangwu", "zhaoliu", "tianqi")
    import spark.implicits._
    val nameDF: DataFrame = nameList.toDF("name")
    nameDF.createOrReplaceTempView("students")
    nameDF.show()

    spark.udf register("STRLEN", (name: String) => {
      name.length
    })
    spark.sql("select name ,STRLEN(name) as length from students order by length desc").show(100)
  }

}

就在 spark.udf register("STRLEN", (name: String)这里一直报错说No TypeTag available for String sqlContext.udf.register()，一咬牙一狠心改成了java.lang.String就成功辽!!!!!可喜可贺可歌可泣，被这玩意儿卡了几小时的感觉真是不太好...