在py3.5简单的scrapy爬虫1

1、进入cmd

2、cd到在你想创建project的目录

3、Scrapystartproject xxxx (xxxx为你要创建的项目名称)

scrapy startproject maopu

4、在spiders目录下创建自己的爬虫文件，myspider

import scrapy
class MyFirstSpider(scrapy.Spider):
    name='mySpider'
    allowed_domains=['mop.com']

    start_urls = [
        "http://www.mop.com/",
        "http://dzh.mop.com/"
    ]

    def parse(self, response):
        print(response.text)

5、在cmd中输入

scrapy crawl mySpider

或者在项目根目录上创建文件entrypoint.py，这样就可以直接用IDE来启动了。

from scrapy.cmdline import execute
execute(['scrapy', 'crawl', 'myspider'])