Spark实战(4) DataFrame基础之数据筛选

最新推荐文章于 2025-03-25 10:15:00 发布

ZenGeek

最新推荐文章于 2025-03-25 10:15:00 发布

阅读量1w

点赞数 1

分类专栏： Spark 文章标签： Spark

本文链接：https://blog.youkuaiyun.com/ZenG_xiangt/article/details/83588965

版权

本文详细介绍了Spark DataFrame的两种filter写法，讲解了如何利用不同条件符号进行数据筛选，并展示了获取筛选结果的操作流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

filter写法一
filter写法二
条件符号
获取结果

filter写法一

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName('ops').getOrCreate()

df = spark.read.csv('appe_stock.csv',inferSchema = True, header = True)

df.printSchema()

df.show()

# The first way

df.filter("Close < 500").show() # 传入一个条件

df.filter("Close < 500"