2024年spark基础使用指南(1)，2024最新中高阶大数据开发面试题总结

本文链接：https://blog.youkuaiyun.com/2401_84166965/article/details/138798744

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

    sparkSession.sql(sql).createOrReplaceTempView("table1");
    int age = 12;
    //传递参数
    sparkSession.sql("select name,nianl from table1 where nianl = '"+age+"'").show();
    //sparkSession.sql("select name,nianl from person where nianl = '${age}'").show();

/**

±–±—±–+
| id|NAME|age|
±–±—±–+
| 1| zs| 11|
| 2| ls| 22|
| 3| ww| 33|
±–±—±–+
*/
//TODO DSL================
System.out.println(“=DSL=”);
ds2.select(col(“age”).plus(1)).show();

// ds2.groupBy(“name”)
// .count()
// .orderBy(col(“age”).desc()) //使用col()需要引入包 import static org.apache.spark.sql.functions.col;
// //.write()
// //.mode(SaveMode.Overwrite)
// //.jdbc()
// .filter(“”) //过滤相当于where
// .agg(avg(“age”),max(“age”))//分类聚合函数，常与groupby连用
// .show();
// ;

// //方法二
// ds1.write().format(“jdbc”)
// .option(“url”,“jdbc:mysql//…”)
// .option(“user”,“root”)
// .option(“password”,“123”)
// .option(“dbtable”,“t_table”)
// .mode(SaveMode.Append)
// .save();

    //TODO 关闭
    sparkSession.stop();
}

}


#### 二、使用scala语言编写


       scala是spark的主要编程语言，相较于java更简洁


上代码：

package spark.sql

import org.apache.spark.SparkContext
import org.apache.spark.sql.{DataFrame, DataFrameReader, Dataset, SaveMode, SparkSession}

import java.util.Properties

/**

操作外部数据源
支持多种文件格式、文件系统、数据库
读：sparkSession.read.格式（text、json、jdbc）
写：dataframe .write.格式（text、json、jdbc）
/
object SparkSql04_DataSource {
def main(args: Array[String]): Unit = {
//TODO 0、运行环境
val sparkSession = SparkSession.builder().master("local[]").getOrCreate()
val sc: SparkContext = sparkSession.sparkContext
sc.setLogLevel(“WARN”)
import sparkSession.implicits._

//TODO 1、加载数据
val df: DataFrame = sparkSession.read.json(“data/input/test.json”)
//sparkSession.read.jdbc(“”,“”,“”) //读取数据库内容
df.show()

val df1: DataFrame = sparkSession.read.format(“jdbc”)
.option(“url”, “jdbc:mysql://localhost:3306/bootdo”)
.option(“driver”, “com.mysql.jdbc.Driver”)
.option(“user”, “root”)
.option(“password”, “123456”)
.option(“dbtable”, “promptInfo”).load()

df1.show()

//TODO 2、处理数据
val pop = new Properties()
pop.setProperty(“user”,“root”)
pop.setProperty(“password”,“123456”)
df.coalesce(1) //指定分区数
.write.mode(SaveMode.Overwrite) //如果表存在则覆盖
.jdbc(“jdbc:mysql://localhost:3306/bootdo?characterEncoding=utf8”,“person”,pop)

val sqlStr: String =
“”"
|select value,count(*) as cNum
|from t_words
|group by value
|order by value
|“”".stripMargin
//stripMargin用来对齐每行字符串，每行用 | 开头
sparkSession.sql(sqlStr).show()

val ds: Dataset[String] = sparkSession.read.textFile(“data/input/words.txt”)
//TODO 2、处理数据
val words: Dataset[String] = ds.flatMap(_.split(" "))
words.show()

//TODO 创建表名
words.createOrReplaceTempView(“t_words”)
//TODO DSL======
words.groupBy(“value”)
.count()
.orderBy('count.desc)
.show()

//TODO 关闭
sparkSession.stop()
}
case class Person(id:Int,name:String,age:Int)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

取](https://bbs.youkuaiyun.com/topics/618545628)**