Mac os x下,使用pip安装scrapy

    由于之前在使用Mac时,更新过Mac原本的python库的版本,更新之后发现xcode不能使用了,大坑啊,少年们一定要引以为戒啊:

    不要随意更新升级Mac的python,ruby等等的自带版本。 —Leo

    如果你已经这么干了,恭喜你,你看到了这篇文章,教你怎么在Mac最新10.10版本,安装pip,并使用pip安装scrapy。

    1. 下载homebrew,下载地址,进入上面的下载地址,将homebrew下载页面中间的指令复制,进入终端,执行复制的指令,homebrew会自动下载完成。
      homebrew下载页面

    2. 使用homebrew先卸载python在使用brew安装python,Mac os 10.10.4会安装python2.7.10,安装完毕后就可以使用pip。(原本更新python3.4,然后又降到2.7.6,xcode能够正常使用,但是不能够使用pip,手动安装pip各种报错,故出此策。)

    brew uninstall python
    brew install python
    1. 接下来就要使用pip安装scrapy了:
    pip install scrapy

    接着,报错了。。。


    第一个错误:fatal error: ‘ffi.h’ file not found

    方法:使用homebrew安装libffi

    brew install libffi

    如果使用上面命令还是提示缺少ffi.h,可以尝试,使用下面的命令:

    $ brew install pkg-config libffi
    $ export PKG_CONFIG_PATH=/usr/local/Cellar/libffi/3.0.13/lib/pkgconfig/

    第二错误:fatal error: ‘libxml/xmlversion.h’ file not found

    方法:在这里网上有各种各样的答案,在我的电脑上起作用的是在stackoverflow上找到的Markus的答案,使用homebrew安装libxml并link之,链接

    brew install libxml2
    brew install libxslt
    brew link libxml2 --force
    brew link libxslt --force

    如果上面没有执行成功,先执行下面的语句,在终端中执行上面的语句。

    brew unlink libxml2
    brew unlink libxslt
    1. 接着再次使用pip安装scrapy,执行成功。
    pip install scrapy

    感谢StackOverflow,SegmentFault,优快云

    任务描述 相关知识 Scrapy安装与新建项目 Windows下安装 Linux/Unix下安装 Mac OS安装 Anaconda安装Scrapy Scrapy新建项目 编程要求 测试说明 任务描述 本关任务:借助Scrapy框架编写一个最基本的爬虫小程序,掌握Scrapy的基础理论和使用。 相关知识 Scrapy安装与新建项目 Windows下安装 由于 Python 官方已经宣布在 2020 年停止对 Python2 的支持,因此本教程的相关 Python 操作均是在 Python3 下进行的,请确保所使用的电脑上已安装 Python3。 在 Windows 环境下,如果安装好了 Python3 ,可以借助 pip 进行 Scrapy 进行安装pip install scrapy 由于 Scrapy 依赖 Wheel、Twisted、Pillow 等第三方包,所以安装过程中很可能会由于依赖缺失而导致安装失败,这时可以根据提示依次进行各依赖的安装并最终完成 Scrapy安装。 Linux/Unix下安装 同样的请先确保安装Python3,之后需要在命令行下执行: pip3 install scrapy 如果出现类似于ModuleNotFoundError: No module named 'twisted.persisted' 等由于依赖缺失导致的报错,请先使用pip install命令完成相应依赖的安装,之后即可完成 Scrapy安装Mac OS安装 由于 Mac OS 自带了 Python2 版本,因此我们建议先升级到 Python3: brew install python 此时系统中同时具备了 Python2 和 Python3 ,需要不同的命令去开启不同版本的 Python: #开启Python2 $: python #开启Python3 $: python3 由于 Python 进行了升级因此 pip 命令也失效了,此时我们可以使用pip3命令进行 Scrapy安装: pip3 install scrapy 安装过程中,依然可能会出现由于依赖缺失而导致报错,此时在安装完缺失的依赖后,再进行 Scrapy安装。 Anaconda安装Scrapy Anaconda 是一个开源的 Python 发行版本,其包含了 conda、Python 等 180 多个科学包及其依赖项。在使用 Anaconda 安装 Scrapy 前,请先检查是否已经安装Scrapy: conda list 如果没有安装,则可使用 conda 命令进行安装: conda install scrapy 之后 conda 会帮助我们自动完成相关依赖的下载,并最终完成 scrapy安装。 在安装成功后,仍需再执行以下命令,来最后安装 Scrapy 依赖的安装: conda install service_identity 在对应的平台中依据各自对应的方法完成 Scrapy安装后,可以通过执行 Scrapy 命令来校验 Scrapy 是否已被正确安装,如下所示: # Mac OS下执行Scrapy命令以校验Scrapy是否已安装 root:~ /$ scrapy Scrapy 1.5.1 - no active project Usage: scrapy <command> [options] [args] Available commands: bench Run quick benchmark test fetch Fetch a URL using the Scrapy downloader genspider Generate new spider using pre-defined templates runspider Run a self-contained spider (without creating a project) settings Get settings values shell Inte\fractive scraping console startproject Create new project version Print Scrapy version view Open URL in browser, as seen by Scrapy [ more ] More commands available when run from project directory 如果在执行 Scrapy 命令后,输出了类似于以上所示的信息,则说明 Scrapy 已被正确安装Scrapy新建项目 Scrapy 提供了脚手架功能,即我们可以借助 Scrapy 的脚手架功能方便快捷地生成 Scrapy 爬虫程序的整个工程目录及涉及到的各个文件。 Scrapy 的脚手架命令用法如下所示: scrapy startproject [爬虫名字] 在指定目录下执行上述命令后,scrapy 会帮我们生成爬虫程序的目录及文件,如下所示为命令使用及输出信息示例: #Mac OS下利用Scrapy创建项目 root:~test$ scrapy startproject litteScrapyCrawler New Scrapy project 'litteScrapyCrawler', using template directory '/usr/local/lib/python3.7/site-packages/scrapy/templates/project', created in: /Users/test/litteScrapyCrawler You can start your first spider with: cd litteScrapyCrawler scrapy genspider example example.com cd litteScrapyCrawler scrapy genspider 爬虫名 作用的域名 例:scrapy genspider Hello www.educoder.net 从以上的输出信息中可以看出,我们在 /Users/test 目录下执行了脚手架命令,创建了名字为littleScrapyCrawler的爬虫程序,之后 Scrapy 帮助我们生成了 littleScrapyCrawler 目录,观察 littleScrapyCrawler 的目录我们发现如下所示的目录结构,从途中可以看到,生成目录中具有多个文件。 编程要求 为了帮助学习者掌握 Scrapy 基础,在命令行完成以下任务: 使用 Scrapy 框架,在当前目录/root下,创建一个名为 HelloWorld 的爬虫程序框架,框架中爬虫名为 world ,作用域名为 www.baidu.com。 测试说明 平台会检测生成的代码框架的命名、结构及内容是否正确。
    最新发布
    09-29
    评论
    成就一亿技术人!
    拼手气红包6.0元
    还能输入1000个字符
     
    红包 添加红包
    表情包 插入表情
     条评论被折叠 查看
    添加红包

    请填写红包祝福语或标题

    红包个数最小为10个

    红包金额最低5元

    当前余额3.43前往充值 >
    需支付:10.00
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包
    实付
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明:

    1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

    余额充值