【spark】spark sql 自定义schema

最新推荐文章于 2025-02-17 21:13:16 发布

sofeld

最新推荐文章于 2025-02-17 21:13:16 发布

阅读量1.7k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： spark 大数据分析文章标签： spark spark sql schema

本文链接：https://blog.youkuaiyun.com/sofeld/article/details/98801346

本文介绍了在Spark中如何为数据文件指定自定义的Schema，以方便更灵活地处理和访问数据，使得数据操作类似数据库表字段的使用方式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在 Spark 中可以直接读取数据文件
但是读取到的数据的每一项数据是没有数据类型的
而且不能使用数据像使用数据表中的字段名那样使用数据
可以在读取数据的时候对读取到的数据进行设置转换
设置转换后使用数据可以像使用数据库表中的字段那样
通过字段名获取数据

import java.util.Properties
import org.apache.spark.sql.types._
import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession}

/**
  * 演示SparkSQL读取各种数据源的数据，进行分析
  */
object SchemaTsvSpark {
  def main(args: Array[String]): Unit = {

    val spark = SparkSession
      .builder()
      .appName("SchemaTsvSpark")
      .master("local[2]")
      //设置sparkSQL中shuffle 时分区数
      .config("spark.sql.shuffle.partitions",2)
      .getOrCreate()

    spark.sparkContext.setLogLevel("WARN")
    import spark.implicits._

    //自定义Schema信息
    val schema:StructType = StructType(
      Array(
        StructField("user_id",IntegerType,true),
        StructField("item_id",IntegerType,true),
        StructField("rating",DoubleType,true),
        StructField("timestamp",LongType,true)