F.sum 分组累计求和，相当于pandas.groupby.cumsum，partitionby进行分组，orderby是根据两个字段排序。unionall做两个表之间的连接操作，不进行去重的操作。用split方法进行操作，getitem获取分列的第几个。pyspark使用sql类似方法窗口函数window.一、pyspark窗口函数的使用。三、对string列进行分列操作。二、pyspark 表连接操作。，可以进行联合orderby。

清除日志原因：c盘因为多次pyspark任务之后，运行的文件量过大引起的c盘过满了# 用户 Local\Temp 目录下面C:\Users\ASUS\AppData\Local\Temp# 缓存数据在blockmgr开头的文件夹中blockmgr

pandas isin 长期使用速度非常快pyspark isin 对比速度非常的慢思路参考文章https://www.pythonheidong.com/blog/article/400508/6b647ae338b352406ce5/以下为改进的操作#leftouter操作fmqd=pd.read_excel('2022年负面清单.xlsx')# 字段需要指定，不然会出现报错fmqd['项目编码']=fmqd['项目编码'].astype(str)# 字段名相同容易joinfmqd.

import findsparkfindspark.init()from datetime import datetime,dateimport pandas as pdfrom pyspark.sql import Row,SparkSessionspark=SparkSession.builder.getOrCreate()df=spark.createDataFrame([Row(a=1,b=2.,c='string1',d=date(2000,1,1),e=datetime(2000,1

import findsparkfindspark.init()from pyspark.sql.types import *from pyspark.sql import SparkSessionfrom pyspark.sql.functions import to_datefrom pyspark.sql.functions import to_timestampif __name__ == '__main__': # 0. 构建执行环境入口对象SparkSession

from pyspark.sql import SparkSession# 调整spark.driver.memory 大小设置根据实际环境调整spark = SparkSession.builder \ .master('local[*]') \ .config("spark.driver.memory", "15g") \ .appName('my-cool-app') \ .getOrCreate()参考资料https://stackoverflow.com/

读取相同开头jsmx文件为列# jsmx* df = spark.read.format("csv").\ option("sep", "^^").\ option("encoding", "utf-8"). \ option("header", True). \ schema(schema=schema). \ load("G:\\20211223\\20211223\\jsmx*.csv")参考资料：https

开头添加import osos.environ["PYARROW_IGNORE_TIMEZONE"] = "1"https://stackoverflow.com/questions/65398794/what-does-this-mean-warningrootpyarrow-ignore-timezone-environment-variabl

运行环境spark3、三星980内存、i7-10700k, 5分钟处理好。主要使用CPU和固态硬盘换取内存处理，速度处理快于内存处理,spark自带分布式处理。py4j.protocol.Py4JError: org.apache.spark.api.python.PythonUtils.getEncryptionEnabled does not exist in the JVM报错引入import findsparkfindspark.init()import findsparkfinds

需要进行安装的内容https://zhuanlan.zhihu.com/p/136777424

pyspark安装指南https://mp.weixin.qq.com/s/Bt6qrE3sGUSCm_BaA33C6Apyspark学习指南https://edu.hellobi.com/course/309/overview