scrapy 抓取京东首页

python version 2.7

开发工具：eclipse+pydev

安装好Scrapy后需要将python安装目录下的Script配置到环境中

在cmd中进入workspace执行

scrapy startproject  ptspider

生成了scrapy的配置文件

在spiders路径下新建文件命名为JDSpider.py

from scrapy.spider import BaseSpider
class  JDSpider(BaseSpider): 
        name = "360buy.com" 
        allowed_domains = ["360buy.com"]    
        start_urls = ["http://www.360buy.com/?utm_source=media&utm_medium=cpc&utm_campaign=&utm_term=semmedia_1_15"]

        def parse(self, response):
            filename = response.url.split("/")[-2] + '.html'
            print(response.body)
            open(filename, 'wb').write(response.body)

在cmd中cd到ptspider路径下执行  scrapy crawl  360buy.com

抓到京东首页的文件www.360buy.com.html