大数据开发！Pandas转spark无痛指南！

💡 作者：韩信子@ShowMeAI
📘 大数据技术◉技能提升系列：https://www.showmeai.tech/tutorials/84
📘 数据分析实战系列：https://www.showmeai.tech/tutorials/40
📘 本文地址：https://www.showmeai.tech/article-detail/338
📢 声明：版权所有，转载请联系平台与作者并注明出处
📢 收藏ShowMeAI查看更多精彩内容

Pandas 是每位数据科学家和 Python 数据分析师都熟悉的工具库，它灵活且强大具备丰富的功能，但在处理大型数据集时，它是非常受限的。

这种情况下，我们会过渡到 PySpark，结合 Spark 生态强大的大数据处理能力，充分利用多机器并行的计算能力，可以加速计算。不过 PySpark 的语法和 Pandas 差异也比较大，很多开发人员会感觉这很让人头大。

在本篇内容中， ShowMeAI 将对最核心的数据处理和分析功能，梳理 PySpark 和 Pandas 相对应的代码片段，以便大家可以无痛地完成 Pandas 到大数据 PySpark 的转换😉

大数据处理分析及机器学习建模相关知识，ShowMeAI制作了详细的教程与工具速查手册，大家可以通过如下内容展开学习或者回顾相关知识。

• 图解数据分析：从入门到精通系列教程
• 图解大数据技术：从入门到精通系列教程
• 图解机器学习算法：从入门到精通系列教程
• 数据科学工具库速查表 | Spark RDD 速查表
• 数据科学工具库速查表 | Spark SQL 速查表

💡 导入工具库

在使用具体功能之前，我们需要先导入所需的库：

# pandas vs pyspark，工具库导入
import pandas as pd
import pyspark.sql.functions as F

PySpark 所有功能的入口点是 SparkSession 类。通过 SparkSession 实例，您可以创建spark dataframe、应用各种转换、读取和写入文件等，下面是定义 SparkSession的代码模板：

from pyspark.sql import SparkSession
spark = SparkSession\
.builder\
.appName('SparkByExamples.com')\
.getOrCreate()

💡 创建 dataframe

在 Pandas 和 PySpark 中，我们最方便的数据承载数据结构都是 dataframe，它们的定义有一些不同，我们来对比一下看看：

💦 Pandas

columns = ["employee","department","state","salary","age"]
data = [("Alain","Sales","Paris",60000,34),
        ("Ahmed","Sales","Lyon",80000,45),
        ("Ines","Sales","Nice",55000,30),
        ("Fatima","Finance","Paris",90000,28),
        ("Marie","Finance","Nantes",100000,40)]

创建DataFrame的 Pandas 语法如下：

df = pd.DataFrame(data=data, columns=columns)
# 查看头2行
df.head(2)

💦 PySpark

创建DataFrame的 PySpark 语法如下：

df = spark.createDataFrame(data).toDF(*columns)
# 查看头2行
df.limit(2).show()

💡 指定列类型

💦 Pandas

Pandas 指定字段数据类型的方法如下：