weixin_42902669的博客

首先引入所需模块from pyspark.conf import SparkConffrom pyspark.sql import SparkSessionfrom pyspark.sql.functions import udf, pandas_udf, PandasUDFTypeconf=SparkConf()conf.setAppName('my-app')conf.set('...

1. 分区为了让多个执行器并行地工作，Spark 将数据分解成多个数据块，每个数据块叫做一个分区。 分区是位于集群中的一台物理机上的多行数据的集合，DataFrame 的分区也说明了在执行过程 中，数据在集群中的物理分布。如果只有一个分区，即使拥有数千个执行器，Spark 也只有一 个执行器在处理数据。类似地，如果有多个分区，但只有一个执行器，那么 Spark 仍然只有那 一个执行器在处理数据，...

1. 安装 JAVA详细步骤可以参考: [Linux] 安装 JAVA2. 安装 Spark下载单机版 Spark, 当前最新版本 spark-2.4.4-bin-hadoop2.7.tgzwget http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7.tgz解...