m0_47170642的博客

1.scrapy的调试过程中，如果出现回调函数callback失败,可能的原因   例如： import json import os import scrapy from images360.items import Images360Item from urllib.parse import urlencode class ImagesSpider(scrapy.Spider): name = 'images' allowed_domains = ['images.so.com']

爬虫之scrapy数据建模与请求 1. 数据建模 通常在做项目的过程中，在items.py中进行数据建模 1.1 为什么建模   1、定义item即提前规划好哪些字段需要抓，防止手误，因为定义好之后，在运行过程中，系统会自动检查   2、配合注释一起可以清晰的知道要抓取哪些字段，没有定义的字段不能抓取，在目标字段少的时候可以使用字典代替   3、使用scrapy的一些特定组件需要Item做支持，如scrapy的ImagesPipeline管道类，百度搜索了解更多 1.2 如何建模 在items.py文件

1、创建一个项目 scrapy startproject mySpider 2、生成一个爬虫 scrapy genspider itcast itcast.cn 3、提取数据 根据网站结构在spider中实现数据采集相关内容 4.保存数热 使用pipeline进行数据后续处理和保存