爬虫学习笔记目录

【编程学习进度记录】

1 scrapy爬虫框架基础

---

1.1 笔记

1. scrapy爬虫【A】1. 笔记 - python网络爬虫实战笔记 - 崔庆才（18年7月）
2. scrapy爬虫【A】2. 笔记 - scrapy创建项目与爬虫 - 嵩天（18年7月）
3. scrapy爬虫【A】3. 笔记 - 精通scrapy网络爬虫 - 刘硕（18年7月）

1.3 背诵

1. scrapy爬虫【C】1. 背诵 - 页面解析常用指令（18年7月）
2. scrapy爬虫【C】2. 背诵 - 数据封装、处理、存储常用命令（18年7月）
3. scrapy爬虫【C】3. 背诵 - 页面解析常用测试方法（18年7月）
4. scrapy爬虫【C】4. 背诵 - 爬虫编写流程（18年7月）

1.4 语法

1. scrapy爬虫【Z】1. XPath常用的语法
2. scrapy爬虫【Z】2. CSS选择器基本语法

1.5 环境搭建

1. 【linux安装scrapy环境】
2. 【window 配置scrapy环境】
3. 【mac上安装scrapy环境】

2 scrapy实战

---

2.1 实战

2. 【当当】当当图书列表抓取_7.22（写入数据库）
3. 【京东】京东图书列表抓取_8.1 （splash动态页面解析）
4. 【当当】当当图书列表、评论抓取_8.13 （提取数据库中图书ID，抓取评论）
5. 【亚马逊】亚马逊图书详情抓取_8.17
6. 【京东】抓取京东图书详情、评论_8.17

2.2 数据存储

4. scrapy爬虫【B】1. 问题 - MySQL数据库和Front安装时的问题（7.8）
5. scrapy爬虫【B】2. 问题 - 编写scrapy时遇到的问题

3 爬虫模块

---

3.1 Items模块 - 数据

Items模块 - 数据

3.2 pipelines模块 - 存储

3.3 middlewares模块 - 代理

3.4 setting模块 - 添加设置

3.5 spider模块 - 页面解析