a21700790yan的博客

1. urllib模块 1.1 urllib简介 urllib 是 Python3 中自带的 HTTP 请求库，无需复杂的安装过程即可正常使用，十分适合爬虫入门 urllib 中包含四个模块，分别是： request：请求处理模块 parse：URL 处理模块 error：异常处理模块 robotparser：robots.txt 解析模块 1.2 urllib使用 ...

1. 抓包工具Fiddler 1.1 Fiddler下载与安装 最简单的方法，打开百度，搜索fiddler下载。 下载完毕解压即可，此版本为绿色版。 点击这个即可运行抓包软件。 1.2 Fiddler的基本配置 只需要配置一个部分就能基本使用了。 点击工具，再点击选项。 勾选选项如下图 再点击操作按钮，选择信任根证书。 ...

Scrapy 一 介绍 Scrapy简介 1.Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛 2.框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便 Scrapy架构图 Scrapy主要包括了以下组件： 1.引擎(Scrapy) 用来处理整个系统的数据流处理,...