python大数据论文_大数据环境下基于python的网络爬虫技术

软

件

开

发

大数据环境下基于

python

的网络爬虫技术

作者/谢克武，重庆工商大学派斯学院软件工程学院

摘要：随

着互联网的发展壮大，网络数据呈爆炸式增长，传统捜索引擎已经不能满足人们对所需求数据的获取的需求，作为搜索引擎的抓

取数据的重要组成部分，网络爬虫的作用十分重要，本文首先介绍了在大数据环境下网络爬虫的重要性，接着介绍了网络爬虫的概念，工

作原理，工作流程，网页爬行策略，

python

在编写爬虫领域的优势，最后设计了一个通用网络爬虫的框架，介绍了框架中模块的相互协作

完成数据抓取的过程。

关键词

：网络爬虫；

python

;

数据采集；大数据

引言

大数据背景下，各行各业都需要数据支持，如何在浩瀚

的数据中获取自己感兴趣的数据，在数据搜索方面，现在的

搜索引擎虽然比刚开始有了很大的进步，但对于一些特殊数

据搜索或复杂搜索，还不能很好的完成，利用搜索引擎的数

据不能满足需求，网络安全，产品调研，都需要数据支持，

而网络上没有现成的数据，需要自己手动去搜索、分析、提

炼

，格式化为满足需求的数据，而利用网络爬虫能自动完成

数据获取，汇总的工作，大大提升了工作效率。

1.利

用

python

实现网络爬虫相关技术

■

l

.

i

什么是网络爬虫

网

络

爬

虫

（

又被称为网页蜘蛛，网络机器人），是一种

按照_定的规则，自动地抓取万维网信息的程序或者脚本。它

们被广泛用于互联网搜索引擎或其他类似网站，以获取或更新

这些网站的内容和检索方式。它们可以自动采集所有其能够

访问到的页面内容，以