jc

scrapy使用小结使用scrapy框架爬虫是为 比较大的爬虫项目，scrapy比自己用面向对象、多进程+协程更加方便 代码量比较少 但是得理解到scrapy 框架的作用 多个模块配合使用缺点：scrapy项目占用资源多 项目庞大在爬虫器里面写爬虫代码 主要是处理 response数据调度器 调度下载器request 获得 response 交给spiders处理返回时用yield 不用return爬虫器处理后 将数据返回给itemsi

Scrapy框架详解框架图目录结构cmd 操作1.创建项目scrapy startproject 项目名2.进入项目cd 到项目目录下3.创建爬虫程序scrapy genspider 爬虫名 爬虫域(xxx.com)创建完成后自动生成scrapy文件框架4.运行爬虫crapy crawl 爬虫名5.列出所有爬虫scrapy list框架组成Spiders 爬虫器处理所有的responses 分析数据 获取需要的数据 获取跟进

urllib库模拟浏览器的行为 向指定服务器发送请求 保存返回的数据urlopen参数1 url请求的服务器地址data 默认是None 如果设置了的值 那么请求就变成了post请求返回值 <http.client.HTTPResponse object at 0x000001DDABEA5CC8>read 方法readline 读取一行readlines 读取多行 （用循环进行遍历）网站识别出爬虫 需要解决反爬返回bytes类型数据res.read().d