Python爬虫层层递进，从爬取一章小说到爬取全站小说

很多好看的小说只能看不能下载，教你怎么爬取一个网站的所有小说

知识点：

1. requests
2. xpath
3. 全站小说爬取思路

开发环境：

1. 版 本：anaconda5.2.0（python3.6.5）
2. 编辑器：pycharm

第三方库：

1. requests
2. parsel

进行网页分析

目标站点:

• 开发者工具的使用
• network
• element

爬取一章小说

• requests库的使用（请求网页数据）
• 对请求网页数据步骤进行封装
• css选择器的使用（解析网页数据）
• 操作文件（数据持久化）

-- coding: utf-8 --

import requests

import parsel

“”“爬取一章小说”""

请求网页数据

headers = {

‘User-Agent’: ‘Mozilla/5.0 (