新建Scrapy项目

进入一个目录

进入python 

scrapy startproject ArticleSplider

进入ArticleSplider目录 scrapy genspider blogs blog.jobbole.com 创建了一个叫做blogs 的蜘蛛

scrapy crewl blogs开始运行爬虫

 

 

如果利用pycharm调试spider呢？

新建一个py文件

import sys,os

sys.path.append(os.path.abspath(os.path.dirname(__file__)))

execute(['scrapy','crewl','blogs'])

转载于:https://www.cnblogs.com/hysys32/p/6781867.html