Spark开发规范（scala版）

原创

已于 2022-03-08 11:42:08 修改 · 1.5k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#spark #hadoop #机器学习

于 2021-03-24 15:16:11 首次发布

本文总结了Spark编程中的最佳实践，包括使用模式匹配处理数组、使用getAs[T]获取DataFrame数据、优先选择DataSet、遵循SQL规范、利用DataFrame和DataSet的高效性等。还提到了避免直接操作数据库、理解SQL执行原理、使用caseclass与DataSet结合、优化缓存策略、避免SQL中的having与开窗函数混合使用等问题。此外，文章强调了根据任务类型进行调优、合理使用成功标识以及避免不必要的堆外内存使用等关键点。

个人总结，供参考，若有错误，欢迎指正

Spark官网:http://spark.apache.org/
Spark参数:http://spark.apache.org/docs/latest/configuration.html


0.参照《阿里java开发手册》

1.对于确定长度的数组，用模式匹配来获取每一位的数据
正例:val Array(name,age) = x.split(",")
反例: val array = x.split(","); val name = array(0); val age = array(1)

2.DataFrame获取数据，使用用getAs[T](fieldName : scala.Predef.String)方法
正例:val name = row.getAs[String]("name")
反例:val name = row.getString(0)  //当数据源的列发生错位时,此用法会导致获取到错误的数据

3.尽可能的使用DataSet,而不是DataFrame。DataFrame的校验是运行校验，而DataSet可以做到编译校验

4.SparkSql的编写，尽可能的遵循SQL规范

5.字符串拼接，请使用可插入字符串
正例:"my name is ${name}"
反例:"my name is " + name

6.case class 与DataSet结合使用时，不需要自定义序列化类，DataSet的数据类型是一种很轻量且高效的编码器Encoder。

7.尽可能的使用SparkSql,DataFrame,DataSet,而不是RDD，由于Catalyst和Tungsten的存在，绝大多数情况下结构化编程都要比RDD运行效率高

8.对于分区后内部排序的场景,可以尝试rdd.partitionBy()转dataframe,再sortWithinPartitions()。在排序很耗时的情况下,由于Tungsten的存在,该方法比rdd.repartitionAndSortWithinPartitions要高效(UnsafeExternalSorter
比ExternalSorter更高效)。

9.SQL是一种很高效的业务开发模式,不要抗拒