weixin_43648821的博客

Spark的ML软件包，其操作是基于DataFrame的。ML包括转换器(Transformer)、评估器(Estimator)、管道(Pipeline)。1、 转换器----Transformer通常是将一个新列附加到DataFrame来转换数据。从高层次上看，当从转换器的抽象类派生时，每个新的转换器需要实现.transform()方法。该方法要求传递一个要被转换的DataFrame，该参数通常是第一个也是唯一的一个强制性参数。其他参数有inputCol、outputCol，inputCol的参数默认

使用Pysaprk进行数据处理from pyspark.sql import SparkSessionfrom pyspark.sql import Rowfrom pyspark.sql.types import *import pyspark.sql.functions as fnimport pyspark.sql.types as typspark = SparkSession.builder.appName('my_test').getOrCreate()sc = spark.sp

DataFrame是一种不可变的分布式数据集，这种数据集被组织成指定的列，类似于关系数据库中的表。1、Python 与RDD之间的通信每当使用RDD执行PySpark程序时，潜在地需要巨大的开销来执行作业。如下图所示，在PySpark驱动器中，Spark Context通过Py4j启动一个使用JavaSparkContext的JVM。所有的RDD转换最初都映射到Java中的PythonRDD对象。一旦这些任务被推送到Spark工作节点，PythonRDD对象就使用管道（pipe）启动Python的子进程