Spark查看变量数据类型和Dataframe每列类型

最新推荐文章于 2024-12-08 19:28:40 发布

楓尘林间

最新推荐文章于 2024-12-08 19:28:40 发布

阅读量1.3w

点赞数 4

CC 4.0 BY-SA版权

分类专栏： Spark Scala DateFrame

本文链接：https://blog.youkuaiyun.com/bowenlaw/article/details/99673051

Spark 同时被 3 个专栏收录

96 篇文章

订阅专栏

Scala

56 篇文章

订阅专栏

DateFrame

47 篇文章

订阅专栏

本文探讨了Scala中变量类型的检查方法及Spark DataFrame列类型的获取技巧。通过实例演示了如何使用Scala代码打印变量类型，以及如何获取DataFrame中各列的数据类型，并将其存储为Map结构，便于进一步的数据分析和处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

变量类型

val x = 5
println(x.getClass)

结果是：
class java.lang.Integer

查看Dataframe每列类型

val data = Array(("1", "2", "3", "4", "5"), ("6", "7", "8", "9", "10"))
val df = spark.createDataFrame(data).toDF("col1", "col2", "col3", "col4", "col5")

df.dtypes
结果：

 Array[(String, String)] = Array((col1,StringType), (col2,StringType), (col3,StringType), (col4,StringType), (col5,StringType))

用Map存储列名和类型

val a = df.dtypes.toMap
println(a)

a: scala.collection.immutable.Map[String,String] = Map(col3 -> StringType, col2 -> StringType, col5 -> StringType, col1 -> StringType, col4 -> StringType)
Map(col3 -> StringType, col2 -> StringType, col5 -> StringType, col1 -> StringType, col4 -> StringType)