19、Spark数据处理与垃圾邮件过滤实战

Spark实现垃圾邮件过滤

最新推荐文章于 2025-12-02 06:00:00 发布

Mars5

最新推荐文章于 2025-12-02 06:00:00 发布

阅读量17

点赞数

CC 4.0 BY-SA版权

分类专栏： Scala数据科学实战指南文章标签： Spark 垃圾邮件过滤 RDD

本文链接：https://blog.youkuaiyun.com/mars5/article/details/152122533

Scala数据科学实战指南专栏收录该内容

72 篇文章 ¥499.90

订阅专栏¥69.90

会员秒杀 ¥9.9 重磅福利

超级会员免费看

Spark数据处理与垃圾邮件过滤实战

1. 键值对RDD的常见连接操作

在处理键值对RDD时，Spark提供了多种连接操作，下面列出了一些常见的连接操作及其结果示例：
| 转换操作 | 结果（假设rdd1为 { quick -> 1, brown -> 2, quick -> 3, dog -> 4 }，rdd2为 { quick -> 78, brown -> 79, fox -> 80 }） |
| — | — |
| rdd1.join(rdd2) | { quick -> (1, 78), quick -> (3, 78), brown -> (2, 79) } |
| rdd1.leftOuterJoin(rdd2) | { dog -> (4, None), quick -> (1, Some(78)), quick -> (3, Some(78)), brown -> (2, Some(79)) } |
| rdd1.rightOuterJoin(rdd2) | { quick -> (Some(1), 78), quick -> (Some(3), 78), brown -> (Some(2), 79), fox -> (None, 80) } |
| rdd1.fullOuterJoin(rdd2) | { dog -> (Some(4), None), quick -> (Some(1), Some(78)), quick -> (Some(3), Some(78)), brown -> (Some(2), S