Python爬虫层层递进，从爬取一章小说到爬取全站小说！

很多好看的小说只能看不能下载，教你怎么爬取一个网站的所有小说

知识点：

1. requests
2. xpath
3. 全站小说爬取思路

开发环境：

1. 版 本：anaconda5.2.0（python3.6.5）
2. 编辑器：pycharm

第三方库：

1. requests
2. parsel

进行网页分析

目标站点:

 

私信博主01 领取完整代码！

 

• 开发者工具的使用networkelement

 

爬取一章小说

• requests库的使用（请求网页数据）
• 对请求网页数据步骤进行封装
• css选择器的使用（解析网页数据）
• 操作文件（数据持久化）

# -*- coding: utf-8 -*-
import requests
import parsel
"""爬取一章小说"""
# 请求网页数据
headers = {
 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142