scrapy安装与配置

原创 于 2018-11-30 18:17:59 发布 · 349 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了在不同操作系统中安装Scrapy爬虫框架的步骤，包括Anaconda、Windows、CentOS、Ubuntu、Mac OS等环境，强调了依赖库如lxml、pyOpenSSL、Twisted、pywin32的安装，并提供了常见错误的解决方案。

Scrapy安装

　　Scrapy的安装有多种方式，它支持Python2.7版本及以上或者是Python3.3版本及以上。下面来说py3环境下，scrapy的安装过程。

　　Scrapy依赖的库比较多，至少需要依赖库Twisted 14.0，lxml 3.4，pyOpenSSL 0.14。在不同平台环境又不相同，所以在安装前确保先把一些基本库安装好，尤其是Windows。

回到顶部

一、Anaconda

　　这种方法是一种比较简单的安装scrapy的方法（尤其对Windows来说），你可以使用该方法安装。也可以选用下文中专用平台的安装方法。

　　Anaconda是包含了常用的数据科学库的Python发行版本，如果没有安装，可以到官网https://www.continuum.io/downloads下载对应平台的包安装。

　　如果已经安装了，可以通过conda命令安装scrapy。

　　安装如下：

　　先打开Anaconda的 Anaconda Prompt 输入

 conda install Scrapy

　　如图所示表示安装成功：

最低0.47元/天 解锁文章
博客
测试开发面试题记录
11-07 936
定义：一组操作的集合，要么全部执行成功，要么全部失败。特性：遵循ACID原则（原子性、一致性、隔离性、持久性）。
博客
测试常见面试题整理
11-04 1480
1.平常你是怎么测试接口的2.平常用什么工具测接口的3.没有接口文档，如果做接口测试4.如何模拟弱网测试5.没有接口文档，如果做接口测试好吧，这几个已经有总结了 推荐：http://static.kancloud.cn/jonjo/lz98/11884726.接口测试的流程7常用什么接口测试工具, 说一个你在工作中具体怎么做接口测试的实例 这个的话根据实际用p...
博客
mac上teams你错过了 请求你的管理员为 子介启用 Microsoft Teams
09-16 8222
teams你错过了 请求你的管理员为 子介启用 Microsoft Teams
博客
测试角度对于开发的一些看法
03-28 710
暴力破解测试就是指对应用系统用户登录账号与密码进行的穷举测试，针对账号和密码进行逐一比较，直到找到正确账号与密码。一般是三种情况：已知账号，加载密码字典对密码进行穷举测试；未知账号，加载账号字典，结合密码字典进行穷举测试；未知账号与密码，利用账号与密码进行穷举测试；使用BurpSuite工具进行破解。修复建议：增加验证码，登陆失败一次则验证码重新变换一次；配置登录失败次数限制策略，同一用户连续输错密码几次则在一定时间内限制其登录；...
博客
浅谈XSS攻击的那些事（附常用绕过姿势）
09-02 1379
前言随着互联网的不断发展，web应用的互动性也越来越强。但正如一个硬币会有两面一样，在用户体验提升的同时安全风险也会跟着有所增加。今天，我们就来讲一讲web渗透中常见的一种攻击方式：XSS攻击。什么是XSS攻击先上一段标准解释（摘自百度百科）。“XSS是跨站脚本攻击(Cross Site Scripting)，为不和层叠样式表(Cascading Style Sheets, CSS)的缩写混淆，故将跨站脚本攻击缩写为XSS。恶意攻击者往Web页面里插入恶意Script代码，当用户浏览该页之时
博客
深入分析AMM恒定乘积模型的滑点与无常损失
08-17 1665
恒定乘积做市商模型存在的滑点与无常损失饱受诟病，研究员通过数学理论分析和数值模拟来理解该模型的滑点和无常损失的原理和过程。恒定乘积做市商模型恒定乘积做市商模型，由Uniswap率先实现并推广，以恒定乘积公式xy=k为基础，使交易对的两种资产数量乘积恒定不变来推进市场交易。虽然Uniswap在DeFi领域开创了新时期的先河，成为了DEX领域的龙头，但恒定乘积做市商模型存在的滑点与无常损失仍饱受诟病。滑点什么是滑点，滑点一般指预设成交价位与真实成交价位的偏差。恒定乘积AMM中同样存在滑点
博客
Nmap命令
03-23 1056
[信息收集]Nmap命令详解0x01 介绍Nmap，也就是Network Mapper，中文为“网络映射器”。Nmap是一款开源的网络探测和安全审核的工具，它的设计目标是快速地扫描大型网络。它是网络管理员必用的软件之一，以及用以评估网络系统保安。1.1 基本功能（1）探测一组主机是否在线（2）扫描主机端口，嗅探所提供的网络服务（3）推断主机所用的操作系统1.2 工作原理Nmap对目标主机进行一系列的测试，利用测试结果建立相应目标主机的Nmap指纹，然后Nma...
博客
Kali Linux设置中文
01-15 4477
打开终端，输入：sudo dpkg-reconfigure locales这时可能会让你输入root密码 ，默认的密码是：kali然后选择字符编码： en_US.UTF-8、zh_CN.GBK、zh_CN.UTF-8 （用空格选定）接着选择字符： zh_CN.UTF-8然后重启kali这个时候要切换root用户（sudo passwd root先输入默认密码kali随后自定义2遍新的密码，再后输入su root然后输入自定义密码即可切换root用户）此时处于root用户状态.
博客
记录一次阿里云安装jmeter并进行系统压测的过程
10-30 914
阿里云自行安装java并配置；下载jmeter到本地：https://jmeter.apache.org/download_jmeter.cgi安装lrzsz：yum install -y lrzszrz上传文件，sz将文件传到本地；进入新建的用来放jmeter文件的文件夹下敲 rz ，选择本地的jmeter文件后传输完成；解压jmeter文件，tar -zcvf apache-jmeter-5.3.tgz；配置jmeter的环境变量，vim/etc/profile，加入这.
博客
如何在 VirtualBox 上安装 Kali Linux
10-15 1702
KaliLinux是最好的黑客 和安全爱好者的 Linux 发行版之一。由于它涉及像黑客这样的敏感话题，它就像一把双刃剑。我们过去在一篇详细的 Kali Linux 点评中对此进行了讨论，所以我不会再次赘述。虽然你可以通过替换现有的操作系统来安装 Kali Linux，但通过虚拟机使用它将是一个更好、更安全的选择。使用 Virtual Box，你可以将 Kali Linux 当做 Windows / Linux 系统中的常规应用程序一样，几乎就和在系统中运行 VLC 或游戏一样简单。在虚..
博客
mac上安装RIDE后执行ride.py提示找不到路径
10-10 963
pip install -U https://github.com/robotframework/RIDE/archive/master.zip执行上边命令安装另一个版本的ride，原因是你安装的python版本与ride版本不符合要求。参考：https://github.com/robotframework/RIDEhttps://www.cnblogs.com/dream66/p/10647166.html...
博客
mac版BurpSuite网盘下载与教程讲解
08-04 1296
官网地址：https://portswigger.net/burp下载很慢，这是社区版网盘链接：https://pan.baidu.com/s/1IlpPEb5bN7XC2IaNu--yuA 密码: v23s网上一位大神写的教程：Burp Suite 实战指南欢迎留言，有问题大家一起交流！...
博客
mac上安装旧版火狐与firebug和firepath插件
07-29 1163
我安装了火狐45版本，从下方网盘下载后直接安装，然后记得把自动更新关闭掉。然后把firebug.xpi文件直接拖到浏览器就行，这时会提示“附加组件似乎损坏，无法安装”。你需要打开Firefox输入about:config， 点击“我保证会小心”进去后，搜索xpi，找到“xpinstall.signatures.required”，该值默认是true，双击该行将其值改为false。然后再把插件拖进去就可以安装成功了，firepath也是。链接: https://pan.baidu.com/s/
博客
Error in NonGUIDriver java.lang.IllegalStateException: Could not find the TestPlan class!
07-27 2691
jmeter想输出HTML格式的性能测试报告在bin文件下命令行输入命令后报错：原因是我在保存jmx脚本时选择了“选中部分保存为”，我只想运行这部分线程。解决：重新用jmeter打开你之前保存的jmx文件，选择保存测试计划，你可以另起别名保存到原来的文件中，然后关掉jmeter再运行原来的命令，运行时改掉jmx文件名，报告成功生成并保存到你桌面的文件夹。ps：在第一次报错时你要保存的桌面文件夹中会生成一个jmeter的错误日志文件，你需要删除这个才能运行原命令，不然会报错提示你“Cannot
博客
xcode-select: error: command line tools are already installed, use “Software Update“ to install
07-20 4069
命令行执行xcode-select --install出现错误xcode-select: error: command line tools are already installed, use "Software Update" to install updates解决办法：$ rm -rf /Library/Developer/CommandLineTools$ xcode-select --install如果还是报错，加上sudo$ ...
博客
chromedriver下载地址及Mac下安装方法
07-08 790
下载地址：http://chromedriver.storage.googleapis.com/index.html1、将下载的可执行文件移到/usr/local/bin下sudo mv chromedriver /usr/local/bin/chromedriver2、: 修改文件权限sudo chmod u+x,o+x/usr/local/bin/chromedriver3、检查是否安装成功:chromedriver --version...
博客
解决Charles每30分钟重启一次
07-02 1819
Registered Name: https://zhile.ioLicense Key: 48891cf209c6d32bf4
博客
docker镜像拉取错误 Error response from daemon: Get https://registry-1.docker.io/v2/library
06-29 1万+
mac安装docker后下载太慢，配置Docker 加速器DaoCloud发现官方说明与自己的docker客户端不一样http://guide.daocloud.io/dcs/daocloud-9153151.html发现我的长这样：一直没注意这里的domain设置，用网上各种方法在命令行里改配置都不行，其实把daocloud的加速地址放到红框里再应用重启后；下载镜像ok！...
博客
Django连接mysql报错django.core.exceptions.ImproperlyConfigured: mysqlclient 1.3.13 or newer is required
06-23 864
解决办法：找到python安装目录下的base.py文件，目录参考：/home/用户名/.virtualenvs/项目名/lib/python3.5/site-packages/django/db/backends/mysql/base.py注视掉这两行：if version < (1, 3, 3):raise ImproperlyConfigured("mysqlclient 1.3.3 or newer is required; you have %...
博客
mac下镜像飞速安装Homebrew教程
06-10 1215
Homebrew是一款包管理工具，目前支持macOS和linux系统。主要有四个部分组成:brew、homebrew-core、homebrew-cask、homebrew-bottles。本文主要介绍Homebrew安装方式以及如何加速访问，顺便普及一些必要的知识。1. 脚本说明Homebrew默认安装脚本：/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/maste..
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值