Spark中常用函数

1. filter过滤函数

df.filter(df.列名==值) 或者 df.filter("列名==值")   中间可以使用(或操作|)   (与操作&)

2. union函数

df.union(df1) 可进行行合并的操作，df与df1的列名相同

3. 本地集合求并集

totalset = set1 | set2   set1=set(pandas['列名'])

4. pandas df 选择数据

df.iat[i,0]  选择行为i，列为0的数据

5. pyspark df选择列

df.select("列名1","列名2")

6. 获取系统时间

import datetime

datetime.datetime.now()

7. 筛选包含在一特定list中的数据框中的列数据 

df.filter(df.列名.isin(list)) 使用isin函数

8. 修改列名

df.selectExpr("列名1 as 新列名1","列名2 as 新列名2") 


9. 修改列名第二种方法
df.select(col("列名1").alias("新列名1"),col("列名2").alias("新列名2"))

10. 数据去重

df.dropDuplicates()

11. 列合并

df.withColumn("新列名",df1.列名)

12. 对列数据进行序号化处理

df.select("列名").distinct().withColumn("新列名",row_number.over(Window.orderBy("列名"))-1) 对列数据进行升序排序后按照(行号-1)进行重新编号

13. 创建临时表进行查询

df.createOrReplaceTempView("表名")
sql =''' select * from 表名'''
sqlContext.sql(sql)