spark dataframe正则表达式

原创已于 2022-01-26 14:59:33 修改 · 2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark #正则表达式 #scala

于 2021-12-29 17:25:19 首次发布

大数据同时被 2 个专栏收录

17 篇文章

订阅专栏

笔记

16 篇文章

订阅专栏

本文详细探讨了在Spark中使用正则表达式对DataFrame进行筛选时遇到的问题，包括如何正确应用`regexp_extract`函数以及如何避免额外返回非匹配数据。通过实例解析，学习者将掌握如何筛选`name`列中包含特定模式'ch'的记录，并排除未匹配项。

关于如何在spark中对Dataframe使用正则表达式进行筛选，最近在使用过程中进行了小研究。

1、遇到的问题一

准备一个DataFrame，首先的思路是使用withColumn对dataFrame中的目标列进行修改：

//dataframe 结构如下
+-----+-------+----+
|index|   name|type|
+-----+-------+----+
|    1|Michael|   A|
|    2|   Andy|   B|
|    3| Justin|   C|
+-----+-------+----+

在使用regexp_extract函数进行正则匹配前，别忘了添加import org.apache.spark.sql.functions._隐式转换。

//正则表达式
val pattern = "ch"
//要匹配的字段
val pattColumn = "name"

import org.apache.spark.sql.functions._

val frame = dataFrame.withColumn(pattColumn,regexp_extract(dataFrame(pattColumn),pattern,0))

frame.show()

运行结果如下：

+-----+----+----+
|index|name|type|
+-----+----+----+
|    1|  ch|   A|
|    2|    |   B|
|    3|    |   C|
+-----+----+----+

可以看到，除了匹配到的字段内容显示了以外，没有匹配到的字段数据同样返回结果，这不符合要求。

2、去掉不符合要求的数据

对于DataFrame的筛选一般使用Filter算子，但是其内部筛选的对象只能是Column类型，所以需要把要匹配的String字段，包装成Column对象。

//正则表达式
val pattern = "ch"
//要匹配的字段
val pattColumn = "name"

import org.apache.spark.sql.functions._

val frame = dataFrame.withColumn(pattColumn,regexp_extract(dataFrame(pattColumn),pattern,0)).filter(col(pattColumn)=!="")

frame.show()

运行结果：

+-----+----+----+
|index|name|type|
+-----+----+----+
|    1|  ch|   A|
+-----+----+----+