20、Spark分布式批处理与SQL数据框深度解析

Spark分布式批处理与SQL数据框深度解析

1. 文本分类与信息提取

在文本分类中，像 “language”、“free” 或 “!” 这类词汇携带的信息最多，因为它们几乎只出现在垃圾邮件或正常邮件中。一种简单的分类算法是选取互信息最高的前 10 个垃圾邮件词汇和前 10 个正常邮件词汇，然后查看邮件中包含的垃圾邮件词汇多还是正常邮件词汇多。

2. Spark内部工作机制

2.1 Spark Web UI访问

当开启Spark上下文（显式开启或启动Spark shell）时，Spark会启动一个Web UI，显示当前任务和过往任务的执行细节。以互信息程序为例，为防止程序结束时上下文关闭，可在主方法的 takeOrdered 调用后添加 readLine 调用，使程序暂停等待用户输入。访问UI的地址为 127.0.0.1:4040 ，若有其他Spark shell实例运行，端口可能为 4041、4042 等。

2.2 任务与DAG

UI首页显示应用包含的任务，任务由操作触发。在互信息程序中，有三个操作触发了三个任务，其中最后一个任务由 takeOrdered 调用触发，它会强制执行计算互信息的整个RDD转换管道。点击任务表中的 takeOrdered 任务，可查看详细信息，其中DAG可视化条目展示了执行计划的图，能让我们了解Spark的内部工作原理。

当在RDD上调用操作定义任务时，Spark会查看RDD的谱系并构建一个映射依赖关系的图，每个