pyspark入门学习：创建DataFrame、增、删、改等

最新推荐文章于 2023-02-27 13:50:36 发布

向日葵

最新推荐文章于 2023-02-27 13:50:36 发布

阅读量647

点赞数 1

分类专栏： spark Python 文章标签： spark

本文链接：https://blog.youkuaiyun.com/mao15827639402/article/details/112014870

版权

pyspark入门学习demo

pyspark创建Dataframe
增、删、改等相关语法

最近数据机太大，用pandas处理耗时太久，于是用学习pyspark处理数据。

pyspark创建Dataframe

from pyspark import SparkConf
from pyspark.sql import SparkSession
from pyspark.sql import functions as fn
from pyspark.sql import Window
from pyspark.sql.functions import current_date
from pyspark.sql.functions import datediff
from pyspark.sql.functions import lit
from pyspark.sql.functions import col,when, max
# 创建一个SparkSession对象
conf = SparkConf().setAppName("spark_1").setMaster("local[2]")
ss = SparkSession.builder.config(conf=conf).getOrCreate()
# 创建DateFrame
df1 = ss.createDataFrame([