qq_46020608的博客

1.确保安装了myscrapy模块（爬虫专用）2.scrapy startproject project_name #创建项目名为project_name的爬出项目3.用编译工具打开爬虫项目,目录有:spiders:在这下面操作爬虫init.py #默认的 不动**.py #自己定义的操作数据的文件items.py #定义需要爬取的数据settings.py:爬虫配置文件middlewares.py #用来对spider返回的item列表进行数据的保存等操作，可以写入文件或保存到数

自定义爬虫文件：jenkinsIP.py# -*- coding: utf-8 -*-import scrapyfrom scrapy import selectorfrom bs4 import BeautifulSoup as bsfrom jenkins_IP.items import JenkinsIpItem# import sys# reload(sys)# sys.setdefaultencode('utf8')import re,datetimeclass Jenki