一个简单的python爬虫爬取糗百图片

木兰宿莽

于 2017-12-20 13:27:38 发布

阅读量996

点赞数

CC 4.0 BY-SA版权

分类专栏： python 文章标签： python 爬虫图片

本文链接：https://blog.youkuaiyun.com/github_37157365/article/details/78852143

python 专栏收录该内容

5 篇文章

订阅专栏

本文介绍了一种利用Python的requests模块爬取糗事百科图片的方法，并提供了完整的代码示例。需要注意的是，对于某些网站如百度图片，由于其对header的要求，此方法可能会导致请求失败。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用requests模块，不过注意一点的是get的时候没加header，而糗百是不检测的，如果百度图片的话使用这种方法会被认为是机器而get失败。

#! /usr/bin/python
import os
import requests
import re

def get_img_url(page_content):
        s = r'src="(.+?\.jpg)"'
        return re.findall(s,page_content)

xiubai_url = r'http://www.qiushibaike.com/imgrank/'

pic_list = get_img_url(requests.get(xiubai_url).content)

#print pic_list

i = 0

for pic_url in pic_list:
        fd = open(str(i) + '.jpg','w+')
        print fd
        pic = requests.get('http:' + pic_url)
        if pic.status_code is not 200:
                fd.close()
                continue
        else:
                fd.write(pic.content)
                i += 1
                fd.close()

总共爬取了25张图片。