huzai9527的博客

一、创建scrapy项目 scrapy startproject tupian  二、各个组件的编写 items.py 定义你要爬取的字段 # -*- coding: utf-8 -*- # Define here the models for your scraped items # # See documentation in: # https://doc.scrapy.org/e...

一、分析免费代理网站的结构 我爬取了三个字段：IP、port、type 二、分析要爬取的数据，编写items.py 因此在items.py中，建立相应的字段 import scrapy class IproxyItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Fie...