【Spark系列5】Dataframe下常用算子API

Apache Spark DataFrame API 提供了丰富的方法来处理分布式数据集。以下是一些常见的 DataFrame API 类别和方法，但这不是一个完整的列表，因为 API 非常广泛。这些方法可以分为几个主要类别：

转换操作（Transformations）

这些方法不会立即执行，但会返回一个新的 DataFrame，通常用于构建计算的执行计划。

• select(): 选择一列或多列。
• filter(), where(): 根据给定的条件过滤行。
• groupBy(): 根据某一列或多列对数据进行分组。
• sort(), orderBy(): 根据一列或多列对数据进行排序。
• join(): 将两个 DataFrame 根据指定的条件连接起来。
• union(): 合并两个 DataFrame 的行。
• withColumn(): 添加一个新列或替换一个现有列。
• withColumnRenamed(): 重命名一个列。
• drop(): 删除一列或多列。
• distinct(): 返回一个只包含不同行的新 DataFrame。
• groupBy().agg(): 分组后的聚合操作。
• pivot(): 用于创建数据透视表。
• window(): 定义窗口函数。
• withWatermark(): 用于流数据处理中的事件时间。

动作操作（Actionsÿ