使用python 采集某网站全站美女图片 ，这么好看得图还不学起来（含完整源码）

本次目的：

python 抓取某某站图片

本次亮点：

1. 系统性分析页面
2. 多页面数据解析
3. 海量图片数据保存

开发环境 & 第三方模块：

• 解释器版本 >>> python 3.8
• 代码编辑器 >>> pycharm 2021.2
• requests >>> pip install requests
• parsel >>> pip install parsel

爬虫主要流程:

一. 网站分析

1. 找到目标网站
   链接
2. 获取每个相册的地址 去批量的下载图片

二. 代码实现过程

1. 发送网络请求 向相册列表页 链接
2. 获取数据 网页源代码
3. 筛选数据 相册地址
4. 发送网络请求 向相册页面 并且 获取数据 网页源代码
5. 筛选数据 图片地址
6. 发送网络请求 & 获取数据 向图片地址
7. 保存图片

代码编写

1. 导入模块

import requests
import parsel   # lxml  re  bs4
import re
import os

2. 加一个伪装

headers = {
   
    'referer': 'https://www.jdlingyu.com/tuji',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36'