Python3.5中安装Scrapy

最新推荐文章于 2022-05-03 16:18:19 发布

原创最新推荐文章于 2022-05-03 16:18:19 发布 · 959 阅读

CC 4.0 BY-SA版权

文章标签：

8 篇文章

订阅专栏

本文详细介绍了如何解决Twisted安装过程中遇到的问题，并给出了适用于不同Python版本的解决方案。此外，还介绍了Scrapy及其关联模块pypiwin32的安装方法，并提供了创建Scrapy项目的步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

 Scrapy安装配置

 一、安装Twisted 

 pip install Twisted 出错：error: Microsoft Visual C++ is required

 参考博客：http://blog.youkuaiyun.com/WelcomeToHebei/article/details/48827847，并不需要安装这个软件。

 打开网址：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted，这个里面提供了许多python需要用到的运行环境文件。

 Ctrl+F查找Twisted，下载与python版本相对应的版本，我的是python3.5。

 注意如果下错了版本会报错：wisted-17.5.0-cp36-cp36m-win32.whl is not a supported wheel on this platform.

 在cmd中输入命令行安装：

 pip install F:\360Downloads\Software\Twisted-17.5.0-cp36-cp36m-win32.whl

 终于不要再忍受安装不了还出各式各样的错误的情况啦！！

 二、安装Scrapy

 1、在cmd中输入命令： pip install scrapy 

 看到Successfully installed Scrapy-1.4.0 queuelib-1.4.2就安装好了

 2、安装关联模块pypiwin32，输入命令： pip install pypiwin32 

 Successfully installed pypiwin32-219 安装成功

 三、创建项目

 在开始爬取之前，您必须创建一个新的Scrapy项目。 进入您打算存储代码的目录中，运行下列命令:

 scrapy startproject tutorial

 上面只是个警告而不是错误

 该命令将会创建一个 tutorial 目录:

 第一个tutorial的内容如下：

 第二个tutorial的内容如下： 

 这些文件的作用如下：

 学习网址：Scrapy入门教程http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html