关于spark在编码时的数据类型获取和定义相关的讨论

参考资料
https://stackoverflow.com/questions/45414718/spark-scala-cannot-up-cast-from-string-to-int-as-it-may-truncate

前言

编码时有两个问题
1、我们在读取数据的时候，他的数据类型，即字段名称类型这些schema怎么获取和推断的呢

读取数据的时候数据类型情况分析

比如说我们在调用

val value = spark.read.csv(“file:///E:\data.csv”)

我们读取了一个csv文件，怎么知道它读取的结果的类型以及字段信息呢？

我们打印下他的schema信息

println(value.schema.toString())

发现如下所示

StructType(StructField(_c0,StringType,true), StructField(_c1,StringType,true))

可以发现，如果不提前定义的话，他的所有类型为string类型，并且每个字段名为_c0 _c1这种形式，有时候这种形式不是我们想要的

那我们怎么进行提前设置呢? 定义所需要的case class（定义case class默认就是序列化的），并且在read的时候显示声明schema ,这样即可定义读取的数据的schema

    case class Record(id: Int, name: String)
    val schema = Encoders.product[Record].schema

    val value = spark.read
        .schema(schema)
        .csv("file:///E:\\data.csv")