实现 RDDs 与 DataFrames的互操作(一)

最新推荐文章于 2024-10-13 16:12:24 发布

原创最新推荐文章于 2024-10-13 16:12:24 发布 · 424 阅读

0 ·

CC 4.0 BY-SA版权

spark 专栏收录该内容

3 篇文章

订阅专栏

本文介绍如何使用 Spark SQL 进行数据处理，通过实例演示了如何将 RDD 转换成 DataFrame，并利用 SQL 查询进行数据筛选及展示。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

package com.yc.spark

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.sql.SQLContext

object SparkRDD07 {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName("SparkDDR").setMaster("local") //使用本地环境配制
val sc = new SparkContext(conf); //创建spark上下文对象
sc.setLogLevel("error") //设置操作数据处理日志等级

//操作Spark Sql
val sqlContext = new SQLContext(sc) //创建Spark SQL 操作对象

//隐匿地将RDD转换 DataFrame
import sqlContext.implicits._

//s 实现 RDDs 与 DataFrames的互操作 park sql 通过 DataFrame类提供的接口对不同的数据源操作
//实现 RDDs 与 DataFrames的互操作
val people = sc.textFile("/data/people.txt").map(_.split(",")).map(p=>(p(0), p(1))).toDF("name", "age")

//people.createTempView("people")
people.createOrReplaceTempView("people")
val queryResult = sqlContext.sql("select * from people")
queryResult.map(t => "name:" + t(0)).collect().foreach(println) //通过下标取到名字
queryResult.map(t => "name:" + t.getAs[String]("name")).collect().foreach(println) //通过列名取到名字

queryResult.map(t => t(0) + ":" + t(1)).collect().foreach(println) //直接取出两个字段值
}
}