ubuntu linux 安装 scrapy 及遇到的问题

本文提供Scrapy爬虫的安装教程,包括使用pip及官方安装包的方式,并解决可能出现的安装错误,如DistributionNotFound等问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1. scrapy英文文档网址如下

 http://doc.scrapy.org/en/latest/intro/install.html

2. 安装流程

  • pip 安装python

    sudo apt-get install python-pip
    pip install Scrapy
  • 官方安装包安装scrapy

    sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7
    echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee /etc/apt/sources.list.d/scrapy.list
    sudo apt-get update && sudo apt-get install scrapy
  • 检查是否安装成功

    scrapy

3. 可能遇到的问题

  • 执行安装install scrapy时报错 Unable to find expected entry ‘main/binary-i386/Packages - Chrome [duplicate]
    导致控制台输入scrapy时报错 pkg_resources.DistributionNotFound: The ‘Scrapy==1.0.0’

    在控制台输入

    sudo gedit /etc/apt/sources.list.d/google-chrome.list

    在打开的文档中找 deb http:// 并在deb 和 http 中间输入[arch=amd64] 然后保存并关掉窗口

    更新软件源

    sudo apt-get update

    在控制台输入

    sudo gedit  /opt/google/chrome/cron/google-chrome

    重新执行

    sudo apt-get update && sudo apt-get install scrapy
  • 报错内容为 pkg_resources.DistributionNotFound: attrs

    需要安装 attrs

    pip install attrs
  • 报错内容为

    Errors were encountered while processing:
     sublime-text-installer
    E: Sub-process /usr/bin/dpkg returned an error code (1)

    解决方案

    sudo apt-get purge sublime-text-installer
    
    sudo apt-get install sublime-text-installer

    sublime-text-installer 报错解决方案

  • 报错内容

    运行scrapy 时报错误 AttributeError: 'module' object has no attribute 'Cryptography_HAS_SSL_ST'

    解决方案
    找到pip文件所在位置 我的pip位置为 /usr/bin/pip 执行 下面命令

    /usr/bin/pip install -U cryptography

    处理上面一项报错问题的原因和过程

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值