爬虫案例之爬取win4000的图片

最新推荐文章于 2021-01-13 23:58:28 发布

原创

最新推荐文章于 2021-01-13 23:58:28 发布 · 2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #python #美女图片 #win4000

本文介绍了使用Python进行网络爬虫的实践案例，目标是抓取win4000网站上的美女图片。在爬取过程中，遇到在第三个分类页面出现错误的问题，目前寻求解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

代码如下：

# coding=utf-8


import os
import requests
from PIL import Image
from io import BytesIO
from lxml import etree
from PIL import ImageFile


ImageFile.LOAD_TRUNCATED_IMAGES = True


# 先定义一个opener函数：
def open_mn_web(url):
    try:
        headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36',
                   'Cookie': 'BAIDU_SSP_lcr=https://www.baidu.com/link?url=23hwYBuWpwUfbSbQSvJgY869r7hcpListVsxpmAC-8WMK1c1KF5UZJmeUzQ5tn7ZgIs48xWvDcxNo4KNgSsk0a&wd=&eqid=acacb6c4000067ee000000045cd99b1d; Hm_lvt_492109f03bd65de28452325006c4a53c=1557764936; security_session_verify=409ca2b5630fd5ab4c56c0bee5a3540b; Hm_lpvt_492109f03bd65de28452325006c4a53c=1557771292',
                   'Referer': url}
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.content
        return None
    except (RecursionError, Conne