把RDD简单的转换成DataFrames

最新推荐文章于 2022-08-18 11:08:42 发布

墨卿风竹

最新推荐文章于 2022-08-18 11:08:42 发布

阅读量160

点赞数

CC 4.0 BY-SA版权

文章标签：把RDD简单的转换成DataFrames

本文链接：https://blog.youkuaiyun.com/qq_43688472/article/details/85389863

本文详细介绍了如何在Spark项目中集成Hive，包括在pom文件中配置依赖、创建SparkSession并启用Hive支持，以及如何操作数据。通过示例代码展示了从创建RDD到DataFrame的转换过程，并最终展示数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一：准备

**在pom中配置hive**

<dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-hive_2.11</artifactId>
      <version>${spark.version}</version>
    </dependency>

二：操作

package g5.learning

import org.apache.spark.sql.SparkSession

object SparkSessionApp {
  def main(args: Array[String]): Unit = {
    val  sparksession= SparkSession.builder().appName("SparkSessionApp")
      .master("local[2]")
      .enableHiveSupport()//使用到hive一定要开启这个
      .getOrCreate()


//    sparksession.sparkContext.parallelize(Array(1,2,3,4)).collect().foreach( println)
    import sparksession.implicits._  //这个是隐式转换
    val g5 = sparksession.sparkContext.parallelize(Array(("1","欢迎"),("2","你好"),("3","大白")))//这是一个rdd
        .toDF("id","name ")
    g5.show()
//    sparksession.table("ruoze_emp").show
    sparksession.stop()
  }

}