一、概述
1.1 成果
-
实现了网络爬虫,可以从给定的初始网址出发按深度优先进行关联网站的图片爬取,可以甄别网址是否已经爬过从而可以避免回路
-
实现了对1000 个不同的网站10000 张图片的爬取
-
实现了图片处理功能,可以对图像进行模糊处理,以及边缘检测
1.2 环境
-
Python3 IDLE
-
requests 库
-
RE 正则表达式库
-
Visual Studio 2017
实现了网络爬虫,可以从给定的初始网址出发按深度优先进行关联网站的图片爬取,可以甄别网址是否已经爬过从而可以避免回路
实现了对1000 个不同的网站10000 张图片的爬取
实现了图片处理功能,可以对图像进行模糊处理,以及边缘检测
Python3 IDLE
requests 库
RE 正则表达式库
Visual Studio 2017