SpringBoot项目——使用Spark对爬虫爬取下的数据进行清洗

原创

已于 2025-01-09 22:24:14 修改 · 940 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#spark #大数据 #分布式

于 2025-01-09 22:07:38 首次发布

随着互联网信息呈爆炸式增长，爬虫技术被广泛用于从海量网页中抓取有价值的数据。然而，爬取到的数据往往存在格式不规范、重复、噪声等诸多问题，需要高效的数据清洗流程来保障数据质量，Spark 在其中发挥了关键作用。

什么是Spark

Spark 是当今大数据领域最活跃、最热门、最高效的大数据通用计算平台之一。

Spark 是为大规模数据处理而设计的分布式计算框架，旨在处理海量数据的存储和分析任务。它可以在集群环境中运行，将计算任务分布到多个节点上，利用集群的并行处理能力来加速数据处理过程。提供了基础的弹性分布式数据集（RDD）抽象，是 Spark 的核心部分，可进行通用的分布式数据处理操作。

Spark的优点

快:与Hadoop的MapReduce相比，Spark基于内存的运算要快100倍以上；而基于磁盘的运算也要快10倍以上。Spark实现了高效的DAG执行引擎，可以通过基于内存来高效地处理数据流。
易用:Spark支持Java、Python和Scala的API，还支持超过80种高级算法，使用户可以快速构建不同应用。而且Spark支持交互式的Python和Scala的Shell，这意味着可以非常方便的在这些Shell中使用Spark集群来验证解决问题的方法，而不是像以前一样，需要打包、上传集群、验证等。这对于原型开发非常重要。
通用性：Spark提供了统一的解决方案。Spark可以用于批处理、交互式查询（通用Spark SQL）、实时流处理（通过Spark Streaming）、机器学习（通过Spark MLlib）和图计算（通过Spark GraphX）。这些不同类型的处理都可以在同一应用中无缝使用。Spark统一的解决方案非常具有吸引力，毕竟任何公司都想用统一的平台处理问题，减少开发和维护的人力成本和部署平台的物理成本。当然还有，作为统一的解决方案，Spark并没有以牺牲性能为代价。相反，在性能方面Spark具有巨大优势。
可融合性：Spark非常方便的与其他开源产品进行融合。比如，Spark可以使用Hadoop的YARN和Apache Mesos作为它的资源管理和调度器，并且可以处理所有Hadoop支持的数据，包括HDFS、HBase和Cassanda等。这对于已部署Hadoop集群的用户特别重要，因为不需要做任何数据迁移就可以使用Spark强大的处理能力。Spark也可以不依赖第三方的资源管理器和调度器，它实现了Standalone作为其内置资源管理器和调度框架，这样进一步降低了Spark的使用门槛，使得所有人可以非常容易地部署和使用Spark。此外Spark还提供了在EC2上部署Standalone的Spark集群的工具。