Spark处理DataFrame中的空字符串

原创已于 2022-10-16 09:45:31 修改 · 872 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark #scala

于 2022-10-15 16:11:12 首次发布

本文介绍如何在Spark中处理DataFrame中的空字符串，通过两种方法实现将空字符串转换为N/A的操作，一种是使用正则表达式替换，另一种是利用when-otherwise条件表达式。

Spark处理DataFrame中的空字符串

在Spark2.x 中 Dataframe.na.drop()似乎只对Null值有效，对空字符串'' 没有处理。
需求：把空字符串转成 N/A

re正则表达式：

 df.withColumn("Col_Name", regexp_replace(col("Col_Name"), "", "N/A"))

withColumn + when-otherwise

df.withColumn("Col_Name", when($"Col_Name" === "", lit("N/A")).otherwise($"Col_Name"))

敬请斧正 😃

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

chase_97

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

sparksql 过滤出null值

mtj66的博客，交流WX:SpringBreeze1104

10-17

1万+

过滤出空的值 : by_car_score_id.filter("type is not null") by_car_score_id.filter("type is null") 下面的方法试了可是不行: df.where(df.col("type").isNull()) df.where(df.col("type").isNotNull()) df.filter(d

Spark SQL | DataFrame的各种玩法

weixin_43646592的博客

06-28

1086

Spark SQL | DataFrame的各种玩法

参与评论您还未登录，请先登录后发表或查看评论

pandas删除dataframe中的空字符串

qq_33267306的博客

08-12

2725

pandas删除dataframe中的空字符串

关于SparkSQL读取json文件中列的值前后含空格而影响排序，如何除去空格的方法

qq_48146690的博客

04-12

2404

除去空格的方法有许多，也许DataFrame转换成rdd后利用再在转成DataFrame的过程中使用trim可以解决，但是当其他列中含有空值的时候其实在转化成DataFrame会报空指针的异常。这里有一个避免这种异常而去空格的方法就是利用withColumn()方法。 withColumn中有两个参数，第一个是列名，第二个是对列进行什么操作。 json文件： { "id":1, "name":" Ella","age":36 } { "id":2,"name":"Bob","age":29 }

Spark中判断DataFrame是否为空

MH_Tan的博客

12-24

5295

没有找到直接判断DataFrame是否为空的方法，这里转换成数组后判断数组是否为空 def isEmpty(df: DataFrame): Boolean = { df.collect().isEmpty } 如果有更好的方法，欢迎交流学习。

spark scala 对dataframe进行过滤----filter方法使用

热门推荐

supersalome的博客

12-20

4万+

val df = sc.parallelize(Seq(("a", 1), ("a", 2), ("b", 2), ("b", 3), ("c", 1))).toDF("id", "num") 对整数类型过滤逻辑运算符：>, df.filter($"num"===2) df.filter($"num">2) df.filter($"num" 或者 df.fi

Spark：DataFrame介绍及使用

m0_70882914的博客

10-13

1636

DataFrame介绍及使用

Spark SQL DataFrame 算子

2401_84052244的博客

07-31

3485

DataFrame 算子与 SQL 查询语句之间，并没有优劣之分，他们可以实现同样的数据应用，而且在执行性能方面也是一致的。因此，你可以结合你的开发习惯与偏好，自由地在两者之间进行取舍。DataFrame 本身支持的算子之外，在功能上，SQL 完全可以实现同样的数据分析。给定 DataFrame，你只需通过 createTempView 或是 createGlobalTempView 来创建临时表，然后就可以通过写 SQL 语句去进行数据的探索、倾斜、转换与分析。

roohom#Code-Cookbook#[Spark]将Spark DataFrame中的数值取出1

07-25

[Spark]将Spark DataFrame中的数值取出有时候经过Spark SQL计算得到的结果往往就一行，而且需要将该结果取出，作为字符串参与别的代码块的

spark操作dataframe

仰望星空的小随

08-02

2882

1.创建dataframe 1.1读取文件来创建dataframe from pyspark.sql import SparkSession #sparkSession为同统一入口 #创建spakr对象 spark = SparkSession\ .builder\ .appName('readfile')\ .getOrCreate() # 1.读取csv,parquet等文件文件 logFilePath = 'births_train.csv' log_df = spark.

数据清洗–DataFrame中的空值处理方法

12-25

数据清洗是一项复杂且繁琐的工作，同时也是整个数据分析过程中最为重要的环节。在python中空值被显示为NaN。首先，我们要构造一个包含NaN的DataFrame对象。 >>> import numpy as np >>> import pandas as pd >>> from pandas import Series,DataFrame >>> from numpy import nan as NaN >>> data = DataFrame([[12,'man','13865626962'],[19,'woman',NaN],[17,NaN,NaN],[NaN,NaN,NaN]],co

Spark_DataFrame 去除 null, NaN 和空字符串

迎难而上

05-30

8839

去除null、NaN 去除 dataframe 中的 null 、 NaN 有方法 drop ，用 dataframe.na 找出带有 null、 NaN 的行，用 drop 删除行： df.na.drop() 去除空字符串 去除空字符串用 dataframe.where ： df.where("colname <> '' ") 示例代码 package com.spark.test.offline.filter import org.apache.sp...

spark sql 过滤空值，过滤某行的空值

konstantin的博客

07-31

1万+

data.na.drop() //所有空值 data.na.drop(Seq("col1","col2")过滤第一行，第二行的空值；

Spark Dataset DataFrame空值null,NaN判断和处理

ChengYanan的博客

10-09

3215

import org.apache.spark.sql.SparkSession import org.apache.spark.sql.Dataset import org.apache.spark.sql.Row import org.apache.spark.sql.DataFrame import org.apache.spark.sql.Column import org.apache....

spark dataframe 将每一列中的空字符(或其它值)替换成null

枪枪枪的博客

04-27

3237

var offlineData: DataFrame = ...... val offlineDataFieldName: Array[String] = offlineData.schema.names (0 until offlineDataFieldName.length).foreach(idx => { offlineData = offlineData.withColumn( offlineDataFieldName.apply(idx)

Spark中DataFrame去除NaN、null以及空字符串数据

weixin_44455388的博客

11-01

7549

去除null、NaN: //创建sparkSession(打包在集群上运行要删除master) val sparkConf: SparkConf = new SparkConf().setAppName(this.getClass.getSimpleName.filter(!_.equals('$'))) //获取sparkContext val sparkContext = ne...

python dataframe是否为空_python-Pandas DataFrame-将NULL字符串替换为空白...

weixin_39875419的博客

11-23

489

我正在处理具有许多不同类型列的大型数据集.数字值和带有一些NULL值的字符串混合在一起.我需要根据类型将NULL值更改为Blank或0.1 John 2 Doe 3 Mike 4 Orange 5 Stuff9 NULL NULL NULL 8 NULL NULL Lemon 12 NULL我希望它看起来像这样1 John ...

DataFrame.filter(Column.notEqual("value"))会不会过滤NULL值

Alan's Blog

07-15

1552

select * from table where column != "value"; 这样一句SQL妇孺皆知，而且在MySQL/Oracle中column为 null 的也会被过滤掉；那么在Spark中表现又会是怎样呢？（Spark SQL也在悄悄得往SQL的语法标准上靠） import org.apache.log4j.{Level, Logger} import org.apache...

dataframe填空值，空字符串也算作空值