qq_34615112的博客

pyspark.sql.DataFrameNaFunctions()DataFrame中处理缺失值的函数drop(how=‘any’, thresh=None, subset=None)返回删除含有空行的DataFrame，DataFrame.dropna()和DataFrameNaFunctions.drop()是彼此的别名。how：'any’or ‘all’. 'any’删除包含空值的行，'all’一行中全部为空则删除改行.thresh： int，默认值无如果指定，则删除小于thresh非空

本小节来学习pyspark.sql中的types中的数据类型，数据类型汇总如下1. DataType数据类型的基类fromInternal(obj)转换SQL对象为Python对象json()jsonValue()needConversion()此类型是否需要在Python对象和内部SQL对象之间进行转换。这用于避免对ArrayType / MapType / StructType进行不必要的转换。simpleString()toInternal()将Python对象转换成SQL

本节来学习pyspark.sql中的Grouped_Data类型的函数。博客中代码基于spark 2.4.4版本。不同版本函数会有不同，详细请参考官方文档。博客案例中用到的数据可以点击此处下载（提取码：h6gg）GroupedData(jgd,df)是由DataFrame.groupBy()创建的一组在DataFrame上聚合的方法from pyspark.sql import SparkSessionimport pyspark.sql.types as typspark = SparkSe

本节来学习pyspark.sql.functions中的pandas_udf函数。博客案例中用到的数据可以点击此处下载（提取码：2bd5）pyspark.sql.functions.pandas_udf(f=None, returnType=None, functionType=None)pandas_udf是用户定义的函数，由Spark使用Arrow来传输数据，并使用Pandas来处理数据，从而实现矢量化操作。使用pandas_udf，可以方便的在PySpark和Pandas之间进行互操作，并且保证性

from pyspark.sql import SparkSessionspark = SparkSession.Builder().master('local').appName('pysparkSqlRow').getOrCreate()RowDataFrame中的一行，可以像属性和字典一样访问其中的字段# 1. 通过Row创建from pyspark.sql import Rowrow = Row(name='Tom', age=15)rowRow(age=15, name='

from pyspark.sql import SparkSessionspark = SparkSession.Builder().master('local').appName('sparksqlColumn').getOrCreate()df = spark.read.csv('../data/data.csv', header='True')df.show(3)+---+----+----+------+----+------+----------+-----------------

先放上pyspark.sql.DataFrame的函数from pyspark.sql import SparkSessionspark = SparkSession.Builder().master('local').appName('learnDataFrame').getOrCreate()从文件中读取数据，创建DataFramedf = spark.read.csv('../data/data.csv', header='True')# 查看各个列的数据类型df.printSch

SparkSesson为使用Dataset和DataFrame API编程Spark的入口点。SparkSesson对象可以创建DataFrame，将Dataframe注册为表，并在表上执行SQL、缓存表、读parquet文件等，通过下面的方式创建SparkSessonfrom pyspark.sql import SparkSessionspark = SparkSession.builder.master('local').appName('Word-Count').config('"spark

导入SparkConf和SparkContext模块，任何Spark程序都是SparkContext开始的，SparkContext的初始化需要一个SparkConf对象，SparkConf包含了Spark集群配置的各种参数。初始化后，就可以使用SparkContext对象所包含的各种方法来创建和操作RDD和共享变量。from pyspark import SparkConffrom pyspark import SparkContextconf = SparkConf().setMaster('l