第一次尝试做爬虫！

最新推荐文章于 2023-07-05 16:24:21 发布

原创最新推荐文章于 2023-07-05 16:24:21 发布 · 300 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python

python 专栏收录该内容

10 篇文章

订阅专栏

今天尝试准备写个爬虫，在网上找了些图片网站，发现这个网站页面规则简单，就决定用他做处女作吧。该网站图片命名规则就是xxx1.jgp-xxx100.jpg：

import requests
import time
import os
from bs4 import BeautifulSoup
tp = 'E:\\tp'
if not os.path.exists(tp):
    os.mkdir(tp)

headers = {'User-Agent':' Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'}
for h in range(1,100):          
    if h <10:
        h = str('00') + str(h)
    else:
        h = str('0') + str(h)
    resp = requests.get('http://img.ivsky.com/img/bizhi/pre/201910/08/zhaoze-'+str(h)+'.jpg',headers)
    if resp.status_code != 200:
        break
    #状态码非200时结束循环
    time_file = int(time.time())
    #加入时间戳
    with open('E:\\tp\\'+str(h)+'_'+str(time_file)+'.jpg','wb') as f:
        f.write(resp.content)
    time.sleep(3)
    
    print('下载完毕，第 %d 张图片' % int(h))
)