21、Spark SQL、DataFrames与MLlib：数据处理与分布式机器学习的综合指南

Spark SQL、DataFrames与MLlib：数据处理与分布式机器学习的综合指南

1. Spark SQL与DataFrames基础

1.1 连接类型

在Spark中，可能的连接类型有内连接（inner）、外连接（outer）、左外连接（leftouter）、右外连接（rightouter）和左半连接（leftsemi）。除了左半连接，其他连接类型大家应该都比较熟悉。左半连接和内连接类似，但连接后只保留左侧DataFrame的列，它可以用来过滤一个DataFrame，只保留那些在另一个DataFrame中存在对应行的行。

1.2 用户自定义函数（UDF）

到目前为止，我们在操作DataFrame列时只使用了内置函数。但有时我们需要更大的灵活性，Spark允许我们通过用户自定义函数（UDF）对每一行应用自定义转换。

假设我们要根据身高和体重来判断一个人是否更可能是男性，我们可以使用以下公式：
- 归一化身高公式：$rescaledHeight = \frac{height - 171}{8.95}$
- 归一化体重公式：$rescaledWeight = \frac{weight - 65.7}{13.4}$
- 判断公式：$f = -0.75 + 2.48 \times rescaledHeight + 2.23 \times rescaledWeight$，当$f > 0$时，更可能是男性。

下面是实现这个功能的Scala代码：

def likelyMale(height:Int, wei