windows下python3.5+安装scrapy与创建项目

最新推荐文章于 2021-12-17 12:29:04 发布

原创最新推荐文章于 2021-12-17 12:29:04 发布 · 490 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#python

scrapy 专栏收录该内容

3 篇文章

订阅专栏

本文分享了Scrapy框架的安装与项目创建方法。安装前需先安装zope.interface等依赖库，再安装Scrapy，还提供了国内源链接。创建项目可在cmd下操作，先定位路径，输入命令创建项目，之后可创建普通爬虫或规则爬虫。

scrapy框架的安装与创建项目

scrapy安装：

相信第一次安装scrapy框架都会遇到各种安装不上的问题！哈哈，别问我为啥知道！
那我分享下我是如何安装scrapy框架的。

首先安装scrapy框架之前需要先安装几个依赖的库
依照顺序分别是 zope.interface、 pyOpenSSL、 libxml2dom、 twisted、 lxml、
最后再安装Scrapy

-i 后边是国内源链接
这儿给大家列几个国内源链接：

阿里云 http://mirrors.aliyun.com/pypi/simple/ 
中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 
豆瓣(douban) http://pypi.douban.com/simple/ 
清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/ 
中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/

在这里给大家准备好了，方便copy

pip install zope.interface -i https://pypi.tuna.tsinghua.edu.cn/simple/
pip install  pyOpenSSL -i https://pypi.tuna.tsinghua.edu.cn/simple/
pip install libxml2dom -i https://pypi.tuna.tsinghua.edu.cn/simple/
pip install  twisted -i https://pypi.tuna.tsinghua.edu.cn/simple/
pip install lxml -i https://pypi.tuna.tsinghua.edu.cn/simple/
pip install Scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple/

当你安装好后，就可以来创建第一个scrapy项目了
在cmd下
cd到需要创建项目的位置
输入：scrapy startproject 项目名。
到这一步就可以看到在该路径下有了scrapy项目了
然后我们再创建一个爬虫，cd到创建好的项目目录下
cmd下输入：scrapy genspider 爬虫名爬取网站的域名
当然不止这一种爬虫，scrapy还提供了规则爬虫
创建爬虫的时候输入：scrapy genspider -t crawl 爬虫名爬取网站的域名

更多关于scrapy的内容可以浏览我的其他文章