一个简单的python爬虫爬取糗百图片

最新推荐文章于 2024-04-12 15:15:37 发布

原创最新推荐文章于 2024-04-12 15:15:37 发布 · 1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫 #图片

python 专栏收录该内容

5 篇文章

订阅专栏

本文介绍了一种利用Python的requests模块爬取糗事百科图片的方法，并提供了完整的代码示例。需要注意的是，对于某些网站如百度图片，由于其对header的要求，此方法可能会导致请求失败。

使用requests模块，不过注意一点的是get的时候没加header，而糗百是不检测的，如果百度图片的话使用这种方法会被认为是机器而get失败。

#! /usr/bin/python
import os
import requests
import re

def get_img_url(page_content):
        s = r'src="(.+?\.jpg)"'
        return re.findall(s,page_content)

xiubai_url = r'http://www.qiushibaike.com/imgrank/'

pic_list = get_img_url(requests.get(xiubai_url).content)

#print pic_list

i = 0

for pic_url in pic_list:
        fd = open(str(i) + '.jpg','w+')
        print fd
        pic = requests.get('http:' + pic_url)
        if pic.status_code is not 200:
                fd.close()
                continue
        else:
                fd.write(pic.content)
                i += 1
                fd.close()

总共爬取了25张图片。