RDD和DataFrame的转换

最新推荐文章于 2024-08-25 08:27:26 发布

原创最新推荐文章于 2024-08-25 08:27:26 发布 · 474 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍如何使用SQLContext将RDD转换为DataFrame，并通过SQL查询进行数据处理。通过具体实例展示了如何定义自定义类来存储数据，如何使用Spark的API创建DataFrame，以及如何执行SQL查询来筛选数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

总结

RDD 转换成 DataFrame使用SQLContext的方法createDataFrame：

def createDataFrame(data: java.util.List[_], beanClass: Class[_]): DataFrame

DataFrame转换成RDD使用DataFrame的字段 rdd：

dataFrame.rdd

`举例程序`

package a


import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.sql.SQLContext
import org.apache.spark.rdd.RDD


object Test {
   def main(args: Array[String]): Unit = {
         val sparkConf = new SparkConf().setMaster("local").setAppName("adaa")
         val sc = new SparkContext(sparkConf)
         
         var sqlcontext = new SQLContext(sc)
         
         
         var rdd:RDD[Emp]= sc.parallelize(Array(
             "1 zhangsan 3000 20",
             "2 lisi     4000 10",
             "3 wangwu   8000 20",
             "4 zhaoliu  1000 20"
          )).flatMap(line =>{
             var arr = line.split("\\s+")
             
             var empno:Int = arr(0).toInt
             var ename:String  = arr(1)
             var sal:Int = arr(2).toInt
             var deptno:Int = arr(3).toInt
             Array(Emp(empno,ename,sal,deptno))
          })
         
         
          
         var dataframe = sqlcontext.createDataFrame(rdd, Class.forName("a.Emp"))
         
         dataframe.registerTempTable("emp")
         
         var newdataframe = sqlcontext.sql("select empno from emp")
         
         newdataframe.show()
         
   
   }
}

`rdd中数据整合时所用到的类`

package a

// "1 zhangsan 3000 20",
class Emp(empno:Int,ename:String,sal:Int,deptno:Int) {
  
   def this(){
      this(0,null,0,0)
   }
   def getEmpno = empno
   def getEname = ename
   def getSal =sal
   def getDeptno = deptno
}






object Emp{
  def apply() = {
     new Emp()
  }
  def apply(empno:Int,ename:String,sal:Int,deptno:Int) = {
     new Emp(empno,ename,sal,deptno)
  }
}