Scrapy的使用

   Scrapy算是装好了，怎么用呢？

1、Scrapy使用——抓取赶集网北京公交信息（http://wwwdigger.com/?p=111）

2、Scrapy 轻松定制网络爬虫（http://blog.pluskid.org/?p=366）

3、Scrapy入门教程 http://www.cnblogs.com/txw1958/archive/2012/07/16/scrapy-tutorial.html

我在测试的时候，碰到两个问题：

1、输入 scrapy crawl gjbus 提示出错，找不到该crawl命令（使用了上述文档1的方法）

     解决方法：进入所创建的爬虫项目的目录，便能执行这个命令

2、出现了ImportError: Error loading object 'scrapy.core.downloader.webclient.ScrapyHTTPClientFactory': No module named win32api

     解答的方法是：出现No module named win32api异常，到这里下载对应版本的安装模块http://starship.python.net/crew/mhammond/downloads/

      我下载了pywin32-217.win32-py2.7.exe，执行后便解决了这个问题。

我将文章1（Scrapy使用——抓取赶集网北京公交信息（http://wwwdigger.com/?p=111））实验了一次，得到了满意的结果。但同时也有了一个新的问题，就是难道我们去做爬虫的时候，还要去先研究目标网站的路径吗？