spark开发demo

IDONTCARE8

已于 2022-04-25 13:49:13 修改

阅读量2.9k

点赞数

分类专栏：大数据学习文章标签： spark

于 2022-04-15 14:33:00 首次发布

本文链接：https://blog.youkuaiyun.com/m0_37556124/article/details/124194170

版权

大数据学习专栏收录该内容

13 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了如何进行Spark开发，包括创建`spark-demo`进行累加计算，设置Maven打包配置，配置外部文件加载，以及使用工具类和提交任务的步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark-demo

累加计算金额–开窗累计所有数据

val amountRdd = spark.sql(
"""
|select
| end_time,
| amount index_val,
| amount + ${t1Amount} index_sum,
| ${version} version
| from(
|select 
| end_time,
| sum(amount) over(order by end_time asc) amount
| from ${a}
| order by end_time desc
| ) tmp
""".stripMargin)
.rdd
.map(x=>{
	val end_time=x.getTimestamp(x.fieldIndex("end_time"))
	val index_val=x.getDecimal(x.fieldIndex("index_val")).toString
	val index_sum=x.getDecimal(x.fieldIndex("index_sum")).toString
	val version=x.getInt(x.fieldIndex("version"))
	Row(end_time, index_val, index_sum, version)
})

val structType = StructType(Seq(
	StructField("end_time", Ti

了解本专栏