一个简单的python程序,28行代码,实现简单网站的图片爬取

最新推荐文章于 2024-03-19 11:10:34 发布

paoss

最新推荐文章于 2024-03-19 11:10:34 发布

阅读量763

点赞数 1

分类专栏： python 文章标签： python

本文链接：https://blog.youkuaiyun.com/a1837353452/article/details/84980168

版权

python 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了一个使用Python编写的简单图片爬虫程序，通过28行代码实现从指定URL下载所有图片。程序首先设置URL和请求头，接着获取网页内容，然后利用正则表达式匹配图片链接。最后，程序使用for循环下载图片，并创建文件夹，进行图片命名和显示下载进度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.导入基本的urllib的库,以及re.os.time的库.

import urllib.request
import urllib.parse
import re
import os
import time

2.设置url和headers.

image_url = 'http://www.youmei8.com/meizitu/1859.html'
headers = {
	'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36',
}

3.获取网页.

request = urllib.request.Request(url = image_url, headers = headers)
response = urllib.request.urlopen(request)
response = response.read().decode()
# print(response)

4.正则匹配当前网页所有图片链接.

pattern = re.compile(r'.*?<img alt="" src="(.*?)".*?>.*?', re.S)
lt = pattern.findall(response)
# print(lt)

5.for循环下载所有的图片,以及创建文件夹和图片命名和提示信息.

for img in lt:
	imgname = img.split('/')[-1]
	dirname = '白色蕾丝装'
	if not os.path.exists(dirname):
		os.mkdir(dirname)
	img_name = dirname + '/' + imgname
	print('%s图片正在下载...' % imgname)
	urllib.request.urlretrieve(img, img_name)
	print('%s图片下载完成...' % imgname)
	time.sleep(1)
print('%s专辑下载完成' % dirname)

dirname为文件名,url为http://www.youmei8.com/的专辑链接.